模型web遷移延時太長,機器學習神器Cortex 能一鍵解決嗎?

ai科技評論 發佈 2020-02-07T06:26:50+00:00

作者| 蔣寶尚編輯 | 賈偉機器學習算法部署平台Cortex宣布推出 Cortex V0.13 。——來自網友的靈魂三連問目前也在Google Cloud中,他們提供ML預測服務,但是他們都不使用容器,我認為這是一大優勢。

作者 | 蔣寶尚

編輯 | 賈偉

機器學習算法部署平台Cortex宣布推出 Cortex V0.13 。

據介紹,這次的Cortex v0.13支持了所有的主要機器學習框架。

Cortex作為一款為生產Web服務的工具,能夠和AWS服務結合起來,重點解決jupyter notebook到生產的缺乏基礎框架的問題。

當前的TensorFlow,PyTorch或者其他機器學習框架需要的技能與處理Docker、Kubernetes、NVIDIA驅動程序的技能並不兼容。也就是說機器學習模型從筆記本遷移到雲上面可能需要花費數周的時間。

這種延遲往往導致大量的計算資源產生浪費,並且用戶體驗有很高的提升空間。

而Cortex v0.13提供了大量新特性,提升了使用體驗,能夠更方便快捷地將機器學習模型預測作為網絡服務部署到生產流程中。

具體而言,此次的Cortex v0.13改進了自動擴展、多框架支持、CPU/GPU支持、預測監測、最小化的聲明式配置、滾動更新、日誌流等功能。

  • 自動擴展:Cortex能夠自動調整API,已處理生產環境下的工作負載,避免高延遲,減少AWS帳單;

  • 多框架支持:Cortex廣泛支持TensorFlow,Keras, PyTorch, Scikit-learn, XGBoost的多個機器學習框架;

  • CPU/GPU支持:Cortex可在CPU或GPU基礎設施上運行推理任務;

  • 滾動更新:直接將更新應用在API上,輕鬆將Web服務過渡到新模型,不會產生延遲;

  • 日誌流:可以Cortex中實時查看日誌,從而幫助簡化流程;

  • 預測監測:可檢測網絡量度,並追蹤預測結果;

  • Spot 實例:能夠享受最高的折扣;

  • 最小化配置:部署配置僅由一個cortex.yaml文件定義。

總的來說,整個Cortex採用TensorFlow,Kubernetes和Docker等開源工具,並將它們與CloudWatch等AWS服務相結合,能夠為開發人員提供了一個API來部署其模型;然後,將模型貨櫃化,然後將其部署到幕後的Kubernetes上,Cortex會自動擴展工作量,如果計算量很大,可以切換到GPU。

開源Github,手把手教你如何配置

目前,創始人也公布了Github地址,給出了大量的運行示例,包括,TensorFlow、PyTorch、XGBoost、scikit-learn。

github地址:https://github.com/cortexlabs/cortex/tree/0.12/examples

如上所示,在TensorFlow的分類中,給出了鳶尾花分類、文本生成、情緒分析、圖像分類等例子;PyTorch的例子包括,閱讀理解、語言生成、圖像分類等等。

機器學習神器?網友評論褒貶不一!

Cortex的更新,其創始人也在Reddit 論壇上更新了通知。在Reddit帖子下面,網友也發表了評論:有人認為能夠加速機器學習模型的訓練,也有認為在支持功能上還有待改進。

為啥要將Cortex和AWS綁在一塊?為啥不支持 所有的k8s集群?為啥不能通過運行Minikube在本地測試Cortex?——來自網友的靈魂三連問

目前也在Google Cloud中,他們提供ML預測服務,但是他們都不使用容器,我認為這是一大優勢。

最後,你對最新版的Cortex有何評論,在文末給我們留言吧~

參考連結:

https://towardsdatascience.com/cortex-v0-13-bba9b9b59131

關鍵字: