?
客戶模型上線應用的現狀
?
模型上線與模型生產對應的數據源不一樣;
模型開發交付的變量加工邏輯到模型上線實現的變量加工邏輯還存在一段距離:數據源統一、加工邏輯重構、數據核驗;
模型開發交付的模型到模型上線發布的模型存在一段距離:運行環境準備、環境變量設置、模型部署、上線測試等;
模型上線之后的幾種管理難度大,需要有效管理手段:模型服務科石化運維管理、模型服務統計分析等。
?
模型發布管理的痛點分析
模型上線發布管理依賴人工處理,缺少有效管理工具
?
?
?
模型上線與模型生產對應的數據源不一樣;
模型開發交付的變量加工邏輯到模型上線實現的變量加工邏輯還存在一段距離:數據源統一、加工邏輯重構、數據核驗;
模型開發交付的模型到模型上線發布的模型存在一段距離:運行環境準備、環境變量設置、模型部署、上線測試等;
模型上線之后的幾種管理難度大,需要有效管理手段:模型服務科石化運維管理、模型服務統計分析等。
?
模型發布管理的痛點分析
模型上線發布管理依賴人工處理,缺少有效管理工具
?
缺乏模型統一管理手段
?
缺乏模型快速上線手段
?
缺乏模型運維監控手段
?
?
缺乏模型運行評估手段
?
生產環境與開發環境使用的數據源不統一,模型上線需要對數據處理邏輯進行重構、數據變量加工結果的核查周期長,制約模型的快速發布上線。
模型發布管理的解決路徑與建設目標
批量推理模型的數據前置處理效能提升方法
統一數據源
構建生產環境的數據集市,保證生產環境和開發環境數據源一致性,解決代碼重構的重復性工作
實時計算性能提升
在同樣的資源配置下,實時數倉的數據處理速度超過GP、Spark、Impala等組件
AP高并發
支持AP場景下沉,實現大批量數據AP場景計算的并發性
全部SQL標準
全部SQL的標準支持,降低數據處理工作的人員準入門檻,實現傳統應用場景的無縫對接
數據前置處理的效能提升,特征工程平臺實現數據標準統一
特征工程工具,實現數據標準、格式的完全統一
數據和特征決定了機器學習的上限,而模型和算法只是逼近這個上限。
通過可視化流程設計,工作流模式實現數據處理標準化
特征工程數據處理與開源框架數據處理的優勢對比