<mark id="oztn4"></mark>
0
| 本文作者： 我在思考中 | 2021-08-05 10:54 | 專題：KDD 2019 |
近日，由北京大學崔斌教授數據與智能實驗室（ Data and Intelligence Research LAB, DAIR）開發的通用黑盒優化系統 OpenBox 開源發布！
相比于SMAC3，Hyperopt等現有開源系統，OpenBox支持更通用的黑盒優化場景，包括多目標優化，帶約束優化場景等。在25個LightGBM調參任務上，OpenBox在7個對比系統中取得了平均1.25名(average rank)的優異成績。
相關論文已經被KDD 2021錄用，"OpenBox: A Generalized Black-box Optimization Service"。
研究背景
近年來，人工智能與機器學習備受關注，越來越多企業使用機器學習模型解決實際問題，如人臉識別、商品推薦等。在應用機器學習模型的過程中，模型超參數的選擇對模型性能有著至關重要的影響，因此超參數優化問題成為了機器學習的重要挑戰之一。超參數優化作為典型的黑盒優化問題，對于優化目標不存在具體表達式或梯度信息，且驗證代價較大。其目標是在有限的驗證次數內，盡快找到全局最優點。除超參數優化外，黑盒優化還擁有著廣泛的使用場景，如自動化A/B測試、數據庫參數調優、處理器架構和芯片設計等。
現有開源的黑盒優化系統往往存在以下問題：
1）使用場景有限。由于系統基于某個特定算法，一些系統只能支持單目標或是無約束的優化問題；
2）性能不穩定。基于優化問題中 “no free lunch”定理，現有系統中特定的算法無法在所有任務中表現出色；
3）有限的可擴展性。現有系統無法有效利用歷史任務的結果以及分布式的驗證資源。
針對這些問題，北京大學DAIR實驗室AutoML項目組開發了一個名為 “OpenBox” 的輕量級黑盒優化系統，針對通用的黑盒優化場景，內置豐富的優化算法，并提供高效的并行支持，幫助用戶“open the box”，解決棘手的黑盒優化問題。
項目Github開源地址：https://github.com/PKU-DAIR/open-box
OpenBox設計思路
為了解決現有系統上述的問題，OpenBox在設計上支持以下系統特性，包括：
多目標優化：同時優化多個不同（甚至相互沖突）的目標，例如同時優化機器模型準確率和模型訓練/預測時間等。
帶約束條件優化：最優化目標的同時，要滿足（黑盒）條件，例如保證模型延遲不能高于某個閾值等。
多類型參數輸入（FIOC）：系統需要對多種待優化參數類型提供支持，主要為FIOC，即浮點型、整型、序數型、類別型四類參數。例如超參數優化中，SVM模型核函數用類別型表示，如果單純用整型代替序數型或類別型參數，將對參數附加額外的序關系，不利于模型優化。
遷移學習：優化任務之間可能存在一定相關性，例如過去可能在不同數據集上進行過相同模型的調參。基于這種觀察，系統需要能夠利用過去優化的知識加速當前優化任務的執行效率。
分布式并行驗證：內置算法支持并行運行，并且系統能夠有效利用給定的分布式資源。
作者將現有系統對上述特點的支持情況總結如上(其中△表示不支持通用場景)。從表格中不難看出，現有開源黑盒優化系統無法支持特定的 使用場景，而 OpenBox 能夠提供完整的支持。
上圖展示了 OpenBox 的并行架構，包含五個主要組件。服務主機(Service Master)負責節點管理、負載均衡和錯誤恢復。任務數據庫(Task Database)保存所有任務的狀態。建議服務器(Suggestion Server)為每個任務生成新 配置。REST API 在用戶/工作者和建議服務器之間建立了橋梁。驗證工作者(Evaluation Worker)由用戶提供和擁有。
OpenBox內置大量優化組件，其中優化算法包括貝葉斯優化，遺傳算法等，如下圖所示：
為簡化用戶的使用門檻以及提高系統在各問題上的性能，OpenBox 默認采用一種自動選擇優化算法的策略，根據輸入參數類型，目標個數，約束個數選擇合適的優化算法。用戶也可基于自身需求，在系統推薦的基礎上自行選擇優化策略。更多OpenBox的特性請參考開源文檔:
https://open-box.readthedocs.io/zh_CN/latest/overview/overview.html
目前OpenBox已在快手、阿里巴巴集團等企業落地部署與使用。
OpenBox性能驗證
1、收斂效果對比
為體現OpenBox在通用黑盒優化問題上的性能，系統針對單/多目標，無/有約束，共4種場景對比OpenBox與現有算法與系統在優化數學函數上的效果，實驗效果如下四圖所示。可以看出在不同的優化場景中，OpenBox相較現有系統都有較為顯著的收斂效果提升。
2、端到端效果對比
針對實際場景，Openbox以表格分類的機器學習任務為例，與現有開源系統BoTorch，GPGlowOpt，Spearmint，HyperMapper，SMAC3，Hyperopt進行對比。為保證公平性，Openbox使用串行方式執行任務，并匯報調參結果在測試集上的準確率。以下展示使用LightGBM與LibSVM兩個模型在25個OpenML公開數據集上的調參結果平均排名。值得注意的是，由于LibSVM的搜索空間復雜且包含條件選擇，OpenBox僅與支持復雜空間定義的SMAC3以及Hyperopt進行對比。
可以觀察到OpenBox在兩個模型調參中均獲得了優異的性能。具體來說，OpenBox在Lightgbm調參中排名中位數為1.25，在LibSBM調參中為1.50，體現了OpenBox相比其它開源系統在超參數優化任務中的優勢。
(a) AutoML任務LightGBM優化結果
(b) AutoML任務LibSVM優化結果
3、并行性能對比
OpenBox 支持高效的并行優化算法，使得在達到相同的優化效果的前提下，所需要的時間代價大幅降低。下圖展示了使用 OpenBox 中并行優化算法在 LightGBM 調參任務上的提升，使用的數據集為公開數據集 optdigits 。其中“Sync”表示同步并行，“Async” 表示異步并行，“-n” 表示并發度。
可以觀察到，相比串行優化（Seq-1），并行能夠帶來很大程度上提升搜索效率。其中最顯著的提升來自于并發度為8的異步優化算法，在達到與串行方法相同的優化結果時僅使用1/80的時間預算，也即實現7.5×的加速比。（理想加速比為8×）
更多關于OpenBox的實驗結果，請參考OpenBox論文：
https://arxiv.org/abs/2106.00421
OpenBox使用示例
目前OpenBox支持主流平臺（Linux、macOS、Window）使用。用戶只需在代碼中定義空間，給出目標函數，構造優化器即可運行。以下以一個簡單的多目標帶約束問題為例：
首先，我們需要import必要的組件：
接下來，我們定義一個包含兩個連續變量的搜索空間：
隨后，我們給出一個簡單的以上述兩個變量為輸入的目標函數。這個目標函數包含兩個目標以及兩個約束：
最后我們定義一個優化器，傳入指定的參數后，只需調用run()即可開始優化。
除了上述包調用的方法，OpenBox還支持用戶通過接口訪問服務，從服務端獲取推薦的參數配置，在本地執行參數性能驗證，并通過訪問網站頁面，可視化監視與管理優化過程。
完整的示例以及更多的使用場景，歡迎參考OpenBox官方文檔：
https://open-box.readthedocs.io/zh_CN/latest/
論文地址：https://arxiv.org/abs/2106.00421
項目Github地址：https://github.com/PKU-DAIR/open-box
歡迎大家關注點贊！
參考文獻
[1]Yang Li, Yu Shen, Wentao Zhang, Yuanwei Chen, Huaijun Jiang, Mingchao Liu, Jiawei Jiang, Jinyang Gao, Wentao Wu, Zhi Yang, Ce Zhang, Bin Cui. "OpenBox: A Generalized Black-box Optimization Service." Proceedings of the 27rd ACM SIGKDD international conference on knowledge discovery and data mining. 2021.
[2] Bergstra, James, et al. "Algorithms for hyper-parameter optimization." Advances in neural information processing systems 24 (2011).
[3] Snoek, Jasper, Hugo Larochelle, and Ryan P. Adams. "Practical bayesian optimization of machine learning algorithms." Advances in neural information processing systems 25 (2012).
[4] Hutter, Frank, Holger H. Hoos, and Kevin Leyton-Brown. "Sequential model-based optimization for general algorithm configuration." International conference on learning and intelligent optimization. Springer, Berlin, Heidelberg, 2011.
[5] Balandat, Maximilian, et al. "BoTorch: A framework for efficient Monte-Carlo Bayesian optimization." Advances in Neural Information Processing Systems (NeurIPS) (2020).
[6] Knudde, Nicolas, et al. "GPflowOpt: A Bayesian optimization library using tensorflow." arXiv preprint arXiv:1711.03845 (2017).
[7] Golovin, Daniel, et al. "Google vizier: A service for black-box optimization." Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining. 2017.
[8] Nardi, Luigi, David Koeplinger, and Kunle Olukotun. "Practical design space exploration." 2019 IEEE 27th International Symposium on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS). IEEE, 2019.
[9] Falkner, Stefan, Aaron Klein, and Frank Hutter. "BOHB: Robust and efficient hyperparameter optimization at scale." International Conference on Machine Learning. PMLR, 2018.
雷鋒網雷鋒網雷鋒網
雷峰網特約稿件，未經授權禁止轉載。詳情見轉載須知。
專題
