数学优化被国家自然科学基金划重点!国产求解器规模化落地提速
近日,《国家自然科学基金“十四五”发展规划》正式公布规划全文,问题驱动的应用数学前沿理论与方法被列入重点发展领域,覆盖“不确定性量化,数据科学和人工智能中的优化模型、算法设计与分析,组合优化、整数规划及随机优化,风险资产和金融风险的建模、模拟与分析,约束最优控制问题,工业设计制造中的核心数学方法,脑网络与生物建模分析中的关键数学问题”等多个研究方向。
从上述研究内容中,我们可以提炼出几个关键词:模型、优化和算法,这是用数学优化的方法解决复杂现实问题的几个核心点。其中,求解器作为底层计算“引擎”,是解决复杂数学优化问题的必备工具。国家自然科学基金的规划和指向,一方面强调了算法、求解器等数学优化技术应用的重要性,另一方面也说明我国在这个领域还有很大的创新和发展空间。
求解器最初的出现,是源于二战中舰队调度、后勤保障等问题,其在商业场景的应用,国外已经有三十多年的历史。国产求解器虽然起步较晚,但近几年蓬勃发展。在求解性能上,以COPT为代表的国产求解器的多项求解性能已超越欧美国家,在应用层面,也已经在基础设施、工业制造、零售消费等多个领域开展应用。但是,如何让求解器以更高的效率走向产业,如何以最快的速度激发数字经济的价值,对于我们来说,仍然是一项重大的课题。
数字经济大河奔涌之下,国产求解器发展的契机和壁垒
过去很长一段时间,国内没有人研究求解器,一些企业和机构在遇到大规模复杂计算问题时,只能选购欧美国家的求解器。商业求解器三大厂GUROBI、CPLEX与 XPRESS 凭借先发优势,丰富的商业开发经验,以及较好的性能,占据了国际大部分市场份额。
此前,我们的数字化程度还不够高,数字化场景也不够多,求解器的价值没有被看到,求解器处于无人问津的“冷门地带”。近些年,我国数字经济大河奔涌,数据越来越多元,数据量越来越大,求解器成为各种复杂问题背后的不可或缺的计算引擎,发展国产求解器已经成为一种必需。
意识到这个问题的,有杉数科技这样的创业型公司,也有华为、阿里等大厂,但是,国外三十多年的发展经验,要如何追赶?虽然国内企业很早就开始运用国外求解器,但因为求解器就如同“黑匣子”一样,无法看到其内部运算方式,国产求解器的研发只能从零开始。
从技术上看,数学规划求解器的数学理论和方法在公开资料上都能找到,但是要通过这些方法和理论打造出一套底层技术工具,研发壁垒却非常高。这需要将一个高度复杂的数学系统,以百万行级别的代码工程化地实现出来,技术难度大,研发周期长,对研发者的数学和编程能力都是很大的挑战,这种人才很稀缺,有经验的人才更稀缺。
从应用上看,虽然我们将求解器比作巨型“计算器”,但是使用求解器,必须要先把业务问题转化成求解器可以读懂的语言,这个抽象化的过程不是靠想象得来的,研发者必须深入业务场景,用严密的逻辑对业务进行梳理和建模。这一方面需要企业有一定的数据基础,另一方面也要求研发者懂得业务语言,只有不断地在各种场景中尝试、踩坑和迭代,最后才能研发出符合市场需求的求解器。
面对横亘在求解器领域的几道高墙,我们必须一个个推倒,才能够看到隐藏在后面的无限价值。很多问题,从无到有往往是最难跨越的一步。由四位斯坦福博士创立的杉数科技,在运筹学、商学、决策分析等领域拥有深厚背景,这也促使其成为最早研究国产求解器的公司。
求解器领域的中国队,正在打一场技术突围战
2017年,杉数科技联合上海财经大学共同推出了开源求解器LEAVES,国产求解器由此发端。2019年5月,杉数科技独立研发的商业求解器COPT正式上市,刚问世的COPT1.0版本,在线性规划单纯形法性能上就达到世界一流水平,打响了国产商用求解器的第一声“惊雷”。
随后,杉数科技陆续发布了商业混合整数规划求解器、商业线性规划内点法求解器、商业二阶锥规划求解器、凸二次(约束)规划求解器、半定规划求解器,再到今年10月份6.0版本发布混合整数二阶锥规划MISOCP求解器以及混合整数凸二次(约束)规划MIQ(C)P求解器,杉数科技用四年时间填补了国产求解器的诸多空白。
在此期间,中科院、华为、阿里都在大力开发求解器,在求解器这个赛道,我们看到了越来越多的中国身影。而国产求解器队列中,求解器COPT是迭代最快的。从1.0到6.0版本,求解模块不断扩展,求解器性能连续攀升,同时,也结合实践反馈进行了FeasRelax功能
、参数自动调优等多方面辅助实际应用的功能升级,为企业解决高性能求解问题提供了更多国产化的选择。
在求解方式上,COPT求解器的线性规划求解模块实现了对偶单纯形法与内点法(包括Crossover),整数规划求解模块实现了以分支切割算法(Branch-and-Cut)为核心的求解方法,二阶锥规划求解模块基于齐次自对偶模型,实现了带预测校正的原始-对偶内点法,这些模块均可以利用多核处理器进行并行计算。另外,半定规划求解模块,针对不同的半定规划结构,实现了原始-对偶、对偶内点法及交替方向乘子法,求解时会根据问题结构选择其中效率最高的一种。从求解速度来看,在美国ASU测评榜上,COPT求解器的大部分求解模块的求解性能都已比肩甚至超越国际先进求解器。
目前COPT求解器提供个人许可、集群许可和浮动许可服务,可满足高校、科研机构和企业的多元化求解需求。求解规模上,COPT能支持亿量级问题的高效求解。针对特殊场景需求,COPT还能进行定制化开发和增强,有效扩展了技术与场景的融合边界。
精耕深作,推进求解器国产化替代
纵观国产求解器的发展历程,其出现有赖于数字经济的发展,同时它也将成为推动数字经济的新引擎。精益管理时代,无论是城市基础设施运营,还是企业生产管理,都需要借助海量数据驱动做出科学决策,企业对求解器的需求日趋强烈。经过短短几年的发展,国产求解器已经逐渐走进基础设施、工业制造、零售消费等多个领域,成为众多企业和机构实现智能决策的有力支撑。其中,COPT求解器以强大的求解性能,吸引了众多用户的青睐。从COPT求解器的应用地图中,我们基本可以窥见国产求解器的应用现状。
在使用COPT求解器的用户中,有很大一部分企业和机构,都在用国产求解器替代之前使用的国外求解器,比如,依托国家电网科技项目,杉数科技与中国电力科学研究院开展合作,研究基于国产优化引擎的电力系统经济调度问题,推动电力系统安全约束经济调度优化引擎国产化,打破了长期以来主流电力系统优化引擎及分析技术的“卡脖子”问题。同时,也有很多企业在推进数字化建设的过程中,开始使用求解器技术来解决很多人工以及常规数字化系统无法解决的问题。
和简单引入求解器不同的是,杉数科技提供的不仅仅是求解器工具,而是以问题为出发点、以效果为导向,帮助企业和机构建立基于求解器的智能决策优化系统。在国际局势动荡和疫情影响之下,各行各业都在倡导优化,优化效率,优化成本,优化质量等等,比如,成百上千个加工厂和生产线,如何安排生产才能使成本更低效率更高?一辆辆飞驰而过的地铁是如何保障运行时间稳定和车辆可用率的?遍布全国的零售店如何分货配货才能以更低的成本满足订单需求?
每个行业都有每个行业的问题,数学抽象建模是求解器优化求解的第一步,只有深入场景内部,建立科学合理的模型,引入求解器才能发挥更大意义。在推进求解器应用之初,国内没有经验可循,没有标准可参考,只能一个问题一个问题的去克服。到今天,COPT求解器已经被应用于各领域的百余家标杆企业和机构,优化效果显著。天上飞的,地上跑的,以及丰富多元的工业和商业场景背后,都能看到国产求解器的身影。
例如,航天领域中的飞行器轨迹优化问题是一类最优控制问题,技术难度较高,利用COPT求解器可以实现最优最快的轨迹优化求解。通过将国产求解器与飞行器所载求解硬件进行整合,并融合进高效、可靠的定制化轨迹优化求解算法,可实现飞行器在不依赖外部规划和控制的情况下,保证最优的实时轨迹控制并精准到达目标。
在轨道交通领域,针对乘务排班、运行图编制、列车检修等优化问题,COPT求解器也表现出较好的优化求解效果。例如,为了解决乘务排班效率低、不均衡等问题,某地铁运营公司综合考虑出勤时间、退勤人数、里程工时、站点换乘等排班约束,构建智能乘务排班模型,使用COPT进行求解,有效降低了正线值乘人数,提升了乘务员的满意度。
在能源电力领域,COPT求解器可广泛用于无功调度优化、电力市场定价,电力市场出清等典型能源电力优化场景。例如,在南方区域电力市场建设过程中,杉数科技协力南方电网打造了电力市场出清引擎,综合考虑交直流迭代、梯级水电等复杂约束特点,设计出清计算差异化算法,对电力现货市场原出清模型进行深度定制化改造,显著提升了现货市场出清计算效率,实现机组出力分配最优化,促进电力现货交易的供需平衡,有效降低了平均发电成本,提升了整体运营效率和效益。
在工业生产中,对于涉及上百个工厂、数万生产零件的排产排程、物料筹措等问题,COPT求解器同样是优化利器。例如,某ICT巨头针对数百个工厂,构建多工厂协调排产引擎,综合考虑多工厂的差异化属性、物料约束、产能约束等,达成多工厂多产线智能协同生产,利用排产模型和求解器快速计算和决策,实现天及周维度的多周期生产排程计划最优,最终将订单满足率提高20%、产能损失率降低30%,灵活高效地满足了客户需求。
从建模、求解到决策优化,不同场景的求解思路是一致的,但每个场景都蕴含了非同一般的技术高度和业务精度,场景的差异化以及建模难度使其很难快速普及。而随着国产求解器走进更多领域,领先企业沉淀下来的经验正在突破这道高墙,比如,针对不同行业的场景,构建多种基础模型库,形成标准化的优化求解方案,不同企业在解决同类问题时,根据差异化需求进行定制化调整,可以极大降低企业使用运筹优化技术的难度。
产学研用联动发展,为大规模产业化落地铺路
虽然求解器迎来了发展的大时代,目前我们也只看到了冰山一角,对于体量庞大的数字经济而言,求解器未来的应用空间还很大。而要扩大求解器的产业宽度,我们还有很长的路要走,这有赖于各方参与者的共同努力。
除了在各个商用领域加速推进国产求解器落地,杉数科技等领先企业也在借助多方资源和力量,推动产学研用联动发展。比如,为了强化求解器的理论和实践教育,杉数科技联合名校师资力量和行业专家打造了运筹与智能决策教学平台--CORIDM,平台集课程、案例、实践为一体,为高校师生、科研人员及企业用户搭建运筹优化与智能决策技术学习、交流和应用的桥梁,致力于将求解器研发及应用方面的成功经验向更大范围普及。
应用层面,2022年《工业智能决策白皮书》的诞生,为求解器在工业场景的应用带来了系统的指引。白皮书对以求解器为核心的智能决策技术的理论和落地方法论进行了全面阐述,打开了求解器与工业制造各场景连通的密码,也将为求解器在更多场景的应用提供参考。
对于数学优化这道迷人的数学题,在实验室里潜心研究非常重要,但只有让其在各个产业落地开花,才能释放出技术的终极价值。而杉数科技所做的,就是本着创业者的初心,向上,不断探索技术高峰,融合机器学习等人工智能技术推进求解器持续升级;向下,持续感知企业和机构的切实需求,让求解器真正走进产业改革的最深处。
其实,不止求解器技术如此,整个应用数学的发展都需要更多新力量来突破边界、下沉场景和规模推进,才能跨越技术和应用的“达尔文之海”。数字经济背景之下,以问题驱动的应用数学越来越重要,数学优化之光正在照进千行百业,国产求解器的大规模产业化落地不远了。