103.8.222.北大 DAIR 实验室通用黑盒优化系统

103.8.222.1高配置BGP扬州

I9-9900K(水冷定制) 64G(定制） 512G SSD(调优) 1 160G防御 50M独享 扬州多线BGP 1499元/月
完美BGP就找快快网络-糖糖Q Q177803620
由北京大学崔斌教授数据与智能实验室（ Data and Intelligence Research LAB, DAIR）开发的通用黑盒优化系统 OpenBox 开源发布
相比于 SMAC3，Hyperopt 等现有开源系统，OpenBox 支持更通用的黑盒优化场景，包括多目标优化，带约束优化场景等。在 25 个 LightGBM 调参任务上，OpenBox 在 7 个对比系统中取得了平均 1.25 名 (average rank) 的优异成绩。

相关论文已经被 KDD 2021 录用，"OpenBox: A Generalized Black-box Optimization Service"。

研究背景
近年来，人工智能与机器学习备受关注，越来越多企业使用机器学习模型解决实际问题，如人脸识别、商品推荐等。在应用机器学习模型的过程中，模型超参数的选择对模型性能有着至关重要的影响，因此超参数优化问题成为了机器学习的重要挑战之一。超参数优化作为典型的黑盒优化问题，对于优化目标不存在具体表达式或梯度信息，且验证代价较大。其目标是在有限的验证次数内，尽快找到全局优点。除超参数优化外，黑盒优化还拥有着广泛的使用场景，如自动化 A/B 测试、数据库参数调优、处理器架构和芯片设计等。

现有开源的黑盒优化系统往往存在以下问题：

1）使用场景有限。由于系统基于某个特定算法，一些系统只能支持单目标或是无约束的优化问题；

2）性能不稳定。基于优化问题中“no free lunch”定理，现有系统中特定的算法无法在所有任务中表现出色；

3）有限的可扩展性。现有系统无法有效利用历史任务的结果以及分布式的验证资源。

针对这些问题，北京大学 DAIR 实验室 AutoML 项目组开发了一个名为“OpenBox”的轻量级黑盒优化系统，针对通用的黑盒优化场景，内置丰富的优化算法，并提供的并行支持，帮助用户“open the box”，解决棘手的黑盒优化问题。

项目 Github 开源地址：https://g***/PKU-DAIR/open-box

OpenBox 设计思路
为了解决现有系统上述的问题，OpenBox 在设计上支持以下系统特性，包括：

多目标优化：同时优化多个不同（甚至相互冲突）的目标，例如同时优化机器模型准确率和模型训练/预测时间等。

带约束条件优化：优化目标的同时，要满足（黑盒）条件，例如保证模型延迟不能高于某个阈值等。

多类型参数输入（FIOC）：系统需要对多种待优化参数类型提供支持，主要为 FIOC，即浮点型、整型、序数型、类别型四类参数。例如超参数优化中，SVM 模型核函数用类别型表示，如果单纯用整型代替序数型或类别型参数，将对参数附加额外的序关系，不利于模型优化。

迁移学习：优化任务之间可能存在一定相关性，例如过去可能在不同数据集上进行过相同模型的调参。基于这种观察，系统需要能够利用过去优化的知识加速当前优化任务的执行效率。