Comet是一個機器學習（ML）開發平台的製造商，最近發布了一份新的調查報告，發現當下ML有很多問題要解決。
「MLOps（機器學習運營）行業現狀報告：2023年機器學習從業者調查」是該公司第二次進行關於ML現狀的年度調查，由Censuswide執行，旨在探討影響ML應用以及項目和計劃成功的問題。今年報告中出現的關鍵話題包括《人工智慧權利法案》、偏見以及預算緊縮帶來的運營挑戰。
Comet執行長兼聯合創始人Mendels表示，ML從業者正面臨一個新的現實，面臨著一系列獨特的挑戰。儘管由於當前的經濟不確定性，組織可能會減少支出，但Mendels表示，由於ML具有釋放商業價值的潛力，ML從業者可能需要快速解決更複雜的問題。解決偏見或遵守《人工智慧權利法案》意味著組織必須擁有適當的工具，以確保其ML項目的成功。
美國白宮科技政策辦公室最近發布了其《人工智慧權利法案藍圖》（BOR），該框架列出了指導自動化系統設計、使用和部署的五項原則。儘管這些原則旨在保護美國公眾免受不安全或無效系統、人工智慧偏見和數據隱私問題的影響，但它們對人工智慧和ML項目的影響將是巨大的。
Comet的報告評估了ML社區的反應，發現73%的從業者同意BOR應該是法律強制的，而不是選擇加入。Mendels認為，不同意強制實施該法案的ML專業人士可能會擔心項目需要更多額外步驟和治理，這可能會進一步減緩已經漫長的模型生產過程。
——73%的從業者同意BOR應該是法律強制；27%的受訪者認為，人工智慧產品永遠不會真正消除偏見。
雖然BOR似乎得到了支持，但大約39%的人仍然認為，這會阻礙他們進行ML部署和開發的過程，因為這會減緩部署和開發過程。就負面影響而言，近37%的人認為法案會使ML部署和發展過程複雜化，而35%的人認為這會使部署和開發成本更高。
Mendels說：「然而，這也有積極的影響。大約38%的人認為BOR將提高ML部署和開發過程的安全性，同樣比例的人（37%）認為這將降低隱私侵犯的可能性。」「最後，超過35%的個人認為BOR將減少不安全或無效ML系統的發生。」
就人工智慧產品中的偏見而言，報告指出，一些人認為偏見過於誇張，ML從業者有能力實施最佳實踐來緩解。其他人認為這將是人工智慧系統的一個持續問題。報告顯示，
35%的受訪者認為BOR將減少不安全或無效的ML系統的頻率。事實上，38%的人有一個指定支持團隊，在規劃AI產品的設計和（或）發布時，他們會尋找偏見偏差。另有33%的受訪者表示，減少偏見風險是可解釋人工智慧的主要好處。
超過四分之一（27%）的受訪者認為，人工智慧產品永遠不會真正消除偏見，另有8%的人不確定。現在的機器學習模型嚴重依賴數據進行訓練（包括風頭正勁的GPT及其衍生應用ChatGPT）。在大多數情況下，這些數據不是新生成的，而是來自現有資料庫。這些數據可能存在偏見，使用這些數據來訓練模型只會傳播現有的偏見。
Mendels表示，儘管數據科學家可以手動刪除這些有偏差的數據，但這種偏差可能會在實際部署後重新進入模型，也可能會從其他供應商那裡學習模式。他說：「因此，必須不斷驗證新數據並消除模型中的偏差。然而，儘管做出了這些努力，仍不可能消除所有偏差，其中一小部分可能仍然存在。」
報告探討的另一個關鍵領域是經濟狀況帶來的額外ML挑戰。100%接受調查的ML從業者表示，經濟形勢將在某種程度上影響他們的業務，受訪者預計最常見的影響是技術團隊的裁員（40%），其次是預算的影響（37%）和招聘凍結（36%）。
Mendels說：「在經濟衰退的情況下，公司將減少僱傭新的ML從業人員。這可能會使項目在ML生命周期各個階段工作的獲得合適人才更具挑戰性。」「因此，數據科學家可能被迫從事數據準備或MLOps工作，而這並不是他們的強項，而且會影響他們專注於構建好的模型。這將加劇好的ML模型部署到生產中的現有挑戰。」
資金的變化也可能影響學術和工業領域ML項目的研究工作，以及創業公司可用的風險資本，這可能會導致創新放緩。Mendels預測，數據科學家和ML從業者將面臨更大的壓力，他們需要通過將更多的模型部署到生產中來顯示ROI，並通過已經部署的模型快速顯示業務價值。
這些經濟壓力的潛在可能性導致32%的受訪者表示，創新將因此而放緩。調查還發現了其他預期挑戰，包括可持續性（41%），其次是保持水平（39%），僱傭具有正確機構知識的員工（36%），以及可解釋的人工智慧（36%）。
Comet將於5月7日至8日舉辦一場」2023年匯聚論壇」。該線上活動將由領先的數據科學家舉辦超過25場演講、小組討論和研討會。有許多演講和話題會圍繞報告所提問題以及解決方案展開。