Google凌晨發布對標GPT的產品Bard,我們試了下發現它有點蠢

知危財經 發佈 2024-03-05T04:48:03.130906+00:00

隨後,我們又問了我們常問 AI 的經典腦筋急轉彎數學小問題:一個青蛙掉到了一個 10 米深的井裡,它每天向上跳 3 米但會滑下來 2 米,請問他第幾天能跳出井裡?



今天凌晨,Google 開放了其對標 ChatGPT 的產品 Bard 的內測申請。



知危編輯部申請之後,很快就通過了,Bard 的界面長這樣:



我們對 Bard 進行了一些簡單的測試,很遺憾,在測試中,它的表現不如 ChatGPT,甚至在某些情況下還不如百度的文心一言,有些拉胯。


下面,我們簡單快速的說一下 Bard 的表現。


首先,Bard 是不支持中文對話的。



並且它對其他語言的支持也很有限,甚至不奢求它能對話,讓他單純翻譯一句話也不行。。。



我們先後問了中文、日語、德語、義大利語,它都說自己不行,跟文心一言一樣難用。



我們不停地問,問到西班牙語的時候它終於能回答了。。。



功能支持有限,沒什麼大問題,但它的嘴硬操作讓人覺得它有點蠢。


比如我們問它:


你支持什麼語言?



它說它會的可多了,支持 100 多種語言,什麼德語、義大利語、俄語、中文,全都不在話下。


結局就是,非常翻車:



蠢到家了可以說是。。。


由於它的回覆翻車,我們一度懷疑它是否有足夠的連續對話能力,畢竟它前腳說自己會中文,後腳就答不出來,顯然不知道自己在說什麼的。


但經過測試,它是可以結合上下文回答的,還算比較欣慰:



隨後,我們又問了我們常問 AI 的經典腦筋急轉彎數學小問題:


一個青蛙掉到了一個 10 米深的井裡,它每天向上跳 3 米但會滑下來 2 米,請問他第幾天能跳出井裡?


Bard 的回答是 27 天。。。



但是看解題過程,它思路好像沒什麼問題,我們懷疑 Bard 並沒有太好的邏輯處理能力,並不是在思考,而是在網上抄答案拼湊的時候拼錯了。


而這個問題,文心一言都能答對:


註:文心一言英語對答能力不太行,所以我們選擇用中文提問。Bard 擅長英語,所以我們認為用中文問百度與用英語問 Bard 相對比是公平的,下同。


隨後,我們又測試了代碼問題,讓它寫一個爬馬斯克 Twitter 的爬蟲,它直接就是一個擺爛:


「 抱歉,我不寫 」



同樣的問題,隔壁 GPT 和文心一言不管答案對不對我們不細究,起碼都支持回答。。。


GPT 的回答


文心一言的回答


隨後,我們讓它單純寫一個爬取某人 Twitter 的爬蟲,它又能寫:



或許,這是某種 「 自我閹割 」,為了規避一些風險,我們無法評判好壞,但這的確讓使用上變得不方便。


接著,我們又問了一個問題,這個問題取自真格基金大語言模型中文測試集,GPT 和文心一言都能給出不錯的回答:



而 Google 家 Bard 對此問題的回答是:



雖然這個問題的答案是比較開放的,但我們可以看出,Bard 的回答比較一般。


我們繼續問了一個問題,讓他給出一個黃昏時分天空顏色的 CSS 代碼:background-color: #


這個問題也取自真格基金的測試集,GPT 答對了,給出了黃昏時的昏黃的顏色,文心一言答錯,給出的是純白色。



而 Bard 的回答是:



這個顏色是一個灰濛濛有些暗的藍色:



所以,你不能說 Bard 是錯的,因為的確黃昏時候天有這種顏色,但這個回答顯然離人們樸素認知中的答案是有差距的。


就,Bard 能回答,但明顯不太聰明。。。


關於其他比較日常、簡單的問題,我們也進行了測試,Bard 都回答的還不錯,並且也有一定創造力,比如讓它用指定食材生成一個菜譜:



讓他編兩個小恐怖故事:



簡單數學問題上,Bard 也並不白給,他能回答文心一言答錯的問題:



Bard 的回答:



具體更多的 Bard 表現不錯的問題我們就不再贅述了,它大概能跟 ChatGPT 平分秋色。


綜合來講,Bard 還不錯,整體強於文心一言,但跟 ChatGPT 有一定差距。不過,前面的犯蠢案例+某些問題的表現甚至不如文心一言,是讓人有些失望的。


Google 發出來的這個產品,顯示不出它作為全球科技巨頭,深耕 AI 多年甚至一直是領軍企業的形象。


Google,似乎掉隊了,它不酷了。




關鍵字: