關注並星標

從此不迷路

Jiangmen

From: Venturebeat; 編譯：顧田君

在過去的十年間，兩種範式的轉變重塑了軟體行業——從提供整裝產品轉向提供服務，以及雲計算的廣泛應用，這對軟體開發的生命周期和DevOps過程產生了巨大的影響。故障管理儼然已成為開發和運行大規模服務的關鍵。

故障的產生並非全是錯處，它推動著服務問題的及時溝通與解決，關於故障管理的前期工作也主要集中在篩選和刪除重複數據等方面。面對這種情況，微軟最新研製出了SoftNER，將AI應用於故障管理中，取得了顯著的成效。

🔧

微軟提出SoftNER

目前，微軟正在使用無監督學習技術來提取關於雲服務中斷的信息。該公司的研究人員在Arxiv.org上發表的論文中詳細地介紹了SoftNER的框架，這是微軟內部部署的一個框架，用於整理有關400 storage、計算和其他雲故障的信息。他們聲稱，該框架在擴展到應對高容量超時、連接緩慢和其他產品中斷問題時，無需注釋大量的培訓數據。

結構化信息具有很高的內在價值，特別是在高風險的雲計算和web操作領域。它不僅可以用於構建適合篩選等任務的人工智慧模型，還可以通過運行資源檢查等自動化過程為工程師節省時間和精力。

SoftNER運行模式

SoftNER框架試圖通過解析非結構化文本、檢測宕機描述中的實體以及將實體分類來提取信息。它使用在描述中識別結構模式的組件來引導訓練數據，以及標籤傳播和多任務模型來泛化模式之外的數據並從描述中提取實體。

多任務學習的模型結構

SoftNER在每次運行開始時都會對數據進行降噪處理。從來自Microsoft用戶、特性工程師和自動化監控系統的信息中，SoftNER能夠生成事件聲明、對話、堆棧跟蹤、shell腳本和總結。SoftNER還會修剪超過兩列的表，去除多餘的標籤 (如HTML標籤) ，對描述進行規範化處理。然後，它將描述分割成句子，並將句子標記成單詞。

機器學習的傳輸路徑

在執行實體標記 (針對問題類型、異常消息、位置和狀態碼等) 和數據類型標記 (針對IP位址、URLs、訂閱ID等) 之後，SoftNER將實體值的類型傳送到所有事件的描述中。例如，如果IP位址「127.0.0.1」被提取為「sourceIP」實體，那麼它就會將所有未標記的「127.0.0.1」標記為「source IP」。

SoftNER實體提取的例子

SoftNER模型評估

在實驗中，研究人員將SoftNER應用於微軟在兩個月內發生的41000次宕機中，每次宕機平均包含472個單詞。根據研究人員的報告，該框架平均從每100個描述中提取到了77個有效實體，準確率超過96% (平均超過70種不同的實體類型) 。此外，研究人員表示，SoftNER在處理下游任務時有足夠的精確度，可以在微軟完成自動篩選。

模型評估

研究人員說，在未來，他們計劃使用SoftNER來評估故障報告，並對現有的故障報告和管理工具進行改進。「故障管理是構建和運營大型雲服務的關鍵部分，」他們寫道。「我們的實驗證明，提取的信息可以用於建立更為精確的關鍵故障管理任務模型。」

微軟並不是唯一一個使用機器學習來清除漏洞的科技巨頭。亞馬遜的CodeGuru服務接受了部分代碼審查和亞馬遜內部開發的應用程式培訓，可以發現資源泄漏和CPU周期性浪費等問題。Facebook開發的工具名為SapFix，可以在bug被發送到人類工程師之前生成修復補丁，還有一個工具名為Zoncolan，它可以映射代碼庫的行為和功能，並在單個分支以及程序中的各種路徑的交互中查找潛在問題。

論文連結：https://arxiv.org/pdf/2007.05505.pdf

最後，別忘了

將門「ECCV 2020鮮聲奪人云際會」

火熱報名中~

點擊下方小程序報名

▼

想看更多內容？點擊下方卡片即可直接🔎搜索啦～

掃碼觀看！

本周上新！

關於我「門」

▼

將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構，旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。

將門創新服務專注於使創新的技術落地於真正的應用場景，激活和實現全新的商業價值，服務於行業領先企業和技術創新型創業公司。

將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容，使創新成為持續的核心競爭力。

將門創投基金專注於投資通過技術創新激活商業場景，實現商業價值的初創企業，關注技術領域包括機器智能、物聯網、自然人機互動、企業計算。在近四年的時間裡，將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十家具有高成長潛力的技術型創業公司。

如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給「門」: