AI 在線服務(UAI-Inference)是面向AI在線inference服務的大規模分布式計算平臺:提供海量計算節點,自動負載均衡,動態擴縮容;基于UCloud云生態構建,提供高可用性、高安全性和高功能性保障;按需收費,靈活便捷;適用于圖像識別、自然語言處理等多個AI領域。
支持多種主流AI框架(Tensorflow,Keras, MXNet, Caffe),快速AI算法在線服務化。
十萬核級別計算資源池,充分保障計算資源需求。
按照實際計算資源消耗收費,無需擔心資源閑置浪費。
隨著業務的高峰和低峰,系統自動調整計算資源配比,自動對計算集群進行橫向擴展和回縮。
計算節點集群化,提供可用區級別的容災保障,無需擔心單點錯誤。
多用戶存儲、網絡、計算資源隔離,安全可靠。
操作簡單上手,并支持可視化業務管理和監控。
任何基于UAI-Inference支持的深度學習框架編寫的人工智能預測程序。如:
提供自動化部署工具,一鍵從本地部署到UAI-Inference集群。
支持在線新增、更新、刪除、啟動、停止、恢復AI服務。
支持同一服務多版本部署,灰度切換,流量控制,版本回滾。
支持在線查詢服務版本發布情況,服務運行情況。
支持對服務運行異常狀態及時報警。