將各類無人裝備用於軍事領域一事，對於各軍事強國和大國來說早已不是什麼新聞了。但與早年間的「人工遙控」方式不同，如今為了讓此類裝備在暫時斷開人工控制之時，仍可保持一定程度的獨立自主作戰能力，故各國都開始探索和研發屬於自己的人工智慧技術。這本是很美好的一件事，也是無人裝備的發展大趨勢之一，可美軍在一次模擬測試中的遭遇卻說明，人工智慧技術很有可能成為一柄對敵人和對自己都很危險的雙刃劍。原因很簡單，一架美軍無人機在測試過程中出現了「殺死操作員」的詭異操作。
據悉，美國空軍在模擬訓練中讓一架搭載人工智慧的無人機執行摧毀敵方防空飛彈的任務，但是發起攻擊前需獲得地面控制員的授權批准。由於無人機所納入的部分打擊目標，被控制員判定為無需打擊，結果「一門心思只想著消滅防空飛彈陣地」的無人機，竟然將控制員判定為了「任務妨礙者」，進而對控制員發起了「攻擊」。
而在對AI邏輯進行修改，將其設定為「不得向控制員發動進攻」後，這次人工智慧無人機乾脆把中繼通信塔歸為了「任務妨礙者」，轉而攻擊通信塔，試圖以切斷地面控制信號的方式，讓自己「不受阻礙地消滅防空飛彈陣地」。不難想像，如果這不是一場簡單模擬測試，而是實彈測試，乃至是在真實的戰場上，那這架由AI控制的無人機會做出何等瘋狂且可怕的舉動，後果不堪設想。
其實從這件事情來看，我們很難說AI出現了根本性的判斷錯誤。在AI的邏輯中，其對人類交給自己的第一任務，即「消滅敵方防空陣地」一事，賦予了過大的優先權限。而服從控制員的指揮和通信聯絡等任務，則被系統自動置於相對較低的權限上。於是乎，結果就是AI將「無條件摧毀預定目標」設定為了最優先事項，當其他任務和功能與這個最優先事項發生衝突時，那它們就都是需要被排除的對象，就連人類控制員都是妨礙AI系統完成任務的「可打擊目標」。
很明顯，這是典型的計算機邏輯思維，其勢必要把每項任務和功能都劃分出嚴格的階梯狀優先等級，進而嚴格遵守這個等級來做事情，也就是我們說的「系統遠不如人有靈活變通的能力」。當然，這裡恐怕又涉及到一個人工智慧的底層建構問題了。在這場模擬測試中，美軍的無人機AI至少接到了3項命令，分別為「摧毀預定目標」、「服從控制員的管理」和「保持通信控制」這3項。如果控制員並未對這3項命令設定各自不同的優先度，那就只能由AI來自行判斷，而AI給出的判斷結果可能是符合電腦系統邏輯的，卻不一定符合人的邏輯與選擇。
之所以會這樣，一個可能的原因或許是人類對人腦探索與開發的不足。換句話說，人類對自己的大腦都還沒徹底探索明白呢，自然很難打造出思考邏輯接近人類的人工智慧系統。作為人工智慧技術的前身，今天的計算機運算邏輯還是20世紀前期誕生的，由圖靈和馮·諾依曼設計而來。
而在發展人工智慧一事上上，如果參照人類大腦的邏輯進行研究，那麼生物學領域的研究不足，一定會帶來很多難以避開的潛在隱患。所以說，對人工智慧的修改和完善，絕不是簡單的加幾個命令、添幾行代碼和改幾個bug那麼簡單。越是接近人類水平的AI，其複雜程度就越會接近大腦，而大腦則是人類全身上下最為複雜的器官，至今都遠未被研究清楚，思考模式堪比人類的人工智慧，也就沒那麼容易被創造出來了。
可以預見的是，人工智慧技術在軍事領域的使用和推廣仍是一個大趨勢，但在未來很長一段時間內，其主打功能應該還是輔助性的，即協助有人駕駛裝備或在人類的控制下完成任務。至於全能性的「完全無人控制」武器，恐怕離我們還很遠。還是那句話，想要獲得真正接近人類乃至可取代人類打仗的人工智慧技術，那需要先在生物學和計算機邏輯研究方面取得更大的突破才行。