金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
搞科研的最新姿勢,被一位華人小哥解鎖了——
告訴AI你的研究目標,再把數據集「投餵」進去,完事。
這就是來自伯克利的博士生Zhong Ruiqi等人的最新研究,把從海量數據集中繁瑣的「取證」過程,統統交給GPT-3來解決:
他們還發現,這種用AI搞科研的方法不僅效率高,而且還能得出人類沒有想到的「意外驚喜」。
讓GPT-3幫你搞科研
那么小哥他們為什麼突發奇想地要用這種方式搞科研呢?
這是因為他們發現,對大型語料庫做深入的挖掘確實能得到一些有用的結果,但這個過程要是讓人類來搞,那簡直就太費時費力了。
因此,他們便決定把這個繁瑣的過程交給GPT-3來處理,並把這個任務命名為「D5」:
Goal Driven Discovery of Distributional Differences via Language Descriptions.
通過語言描述,實現目標驅動的分布式差異的發現。
「D5」任務的過程,簡單來說就是兩個動作:
- 輸入研究目標
- 輸入兩個語料庫
例如在上面這個案例中,小哥先是給AI輸進去了兩個語料庫:
- 語料庫A:服用藥物A後患者的反應報告
- 語料庫B:服用藥物B後患者的反應報告
然後再向AI確定自己的研究目標,即「我想了解一下藥物A的副作用」。
在AI收到任務後,立刻開始執行分析工作,最後得出了它的結論:
語料庫A中的樣本,有更多的患者會提到「妄想症」(paranoia)。
不過試想一下,若讓人類科研人員做這項工作,光是了解語料庫A和B就需要花費大量的時間,更別提還得進一步做對比分析等工作了。
而D5任務之所以能夠做得如此絲滑,是因為小哥他們在此背後還做了不少工作。
例如構建OpenD5元數據集,它包含符合D5任務的675個開放式問題,所涉及領域涵蓋商業、社會科學、人文科學、健康和機器學習等。
並且每個開放式問題都會對應一個語料庫對兒(語料庫A和語料庫B),平均有17000個樣本。
小哥還把每個語料庫中的50%作為研究部分,另外50%則是拿來做驗證。
基於此,小哥他們再構建了一個「D5系統」,它的工作原理和人類從資料庫中獲取發現類似,分為兩個階段,即創造性地提出一個假設,再在數據集上嚴格驗證這個假設。
按照這種思路,研究人員接下來用GPT-3做了次實驗。
他們先是向GPT3展示研究目標和每個語料庫中的一些樣本,然後讓它提出一個假設列表。
最終實驗發現,GPT-3可以使用目標描述來提出更相關、更新穎、更有意義的假設。
也正因為OpenD5數據集所涵蓋的領域眾多,因此小哥表示他們的D5系統具備應用範圍廣的特點。
也存在一些缺陷
但對於這套D5系統,小哥也直言不諱地道出了它的缺陷。
例如,若是語料庫中含有較多的俚語、俗語或者帶有情緒的詞彙,那麼AI所給出的「發現」就會存在偏差。
簡而言之,就是AI對於特定情況的詞彙或描述產生了錯誤的理解和分析。
除此之外,小哥也表示更靈活的語料庫、更具擴展性的系統,也是他們在未來重點研究的方向。
不過似乎這項研究讓小哥也是興奮不已,畢竟離他「構建一個用AI稿科研」的夢想更近了一步。
參考連結:
[1] https://arxiv.org/abs/2302.14233
[2] https://twitter.com/ZhongRuiqi/status/1631109680859865089?s=20
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們,第一時間獲知前沿科技動態