今天凌晨,Google 開放了其對標 ChatGPT 的產品 Bard 的內測申請。
知危編輯部申請之後,很快就通過了,Bard 的界面長這樣:
我們對 Bard 進行了一些簡單的測試,很遺憾,在測試中,它的表現不如 ChatGPT,甚至在某些情況下還不如百度的文心一言,有些拉胯。
下面,我們簡單快速的說一下 Bard 的表現。
首先,Bard 是不支持中文對話的。
並且它對其他語言的支持也很有限,甚至不奢求它能對話,讓他單純翻譯一句話也不行。。。
我們先後問了中文、日語、德語、義大利語,它都說自己不行,跟文心一言一樣難用。
我們不停地問,問到西班牙語的時候它終於能回答了。。。
功能支持有限,沒什麼大問題,但它的嘴硬操作讓人覺得它有點蠢。
比如我們問它:
你支持什麼語言?
它說它會的可多了,支持 100 多種語言,什麼德語、義大利語、俄語、中文,全都不在話下。
結局就是,非常翻車:
蠢到家了可以說是。。。
由於它的回覆翻車,我們一度懷疑它是否有足夠的連續對話能力,畢竟它前腳說自己會中文,後腳就答不出來,顯然不知道自己在說什麼的。
但經過測試,它是可以結合上下文回答的,還算比較欣慰:
隨後,我們又問了我們常問 AI 的經典腦筋急轉彎數學小問題:
一個青蛙掉到了一個 10 米深的井裡,它每天向上跳 3 米但會滑下來 2 米,請問他第幾天能跳出井裡?
Bard 的回答是 27 天。。。
但是看解題過程,它思路好像沒什麼問題,我們懷疑 Bard 並沒有太好的邏輯處理能力,並不是在思考,而是在網上抄答案拼湊的時候拼錯了。
而這個問題,文心一言都能答對:
註:文心一言英語對答能力不太行,所以我們選擇用中文提問。Bard 擅長英語,所以我們認為用中文問百度與用英語問 Bard 相對比是公平的,下同。
隨後,我們又測試了代碼問題,讓它寫一個爬馬斯克 Twitter 的爬蟲,它直接就是一個擺爛:
「 抱歉,我不寫 」
同樣的問題,隔壁 GPT 和文心一言不管答案對不對我們不細究,起碼都支持回答。。。
GPT 的回答
文心一言的回答
隨後,我們讓它單純寫一個爬取某人 Twitter 的爬蟲,它又能寫:
或許,這是某種 「 自我閹割 」,為了規避一些風險,我們無法評判好壞,但這的確讓使用上變得不方便。
接著,我們又問了一個問題,這個問題取自真格基金大語言模型中文測試集,GPT 和文心一言都能給出不錯的回答:
而 Google 家 Bard 對此問題的回答是:
雖然這個問題的答案是比較開放的,但我們可以看出,Bard 的回答比較一般。
我們繼續問了一個問題,讓他給出一個黃昏時分天空顏色的 CSS 代碼:background-color: #
這個問題也取自真格基金的測試集,GPT 答對了,給出了黃昏時的昏黃的顏色,文心一言答錯,給出的是純白色。
而 Bard 的回答是:
這個顏色是一個灰濛濛有些暗的藍色:
所以,你不能說 Bard 是錯的,因為的確黃昏時候天有這種顏色,但這個回答顯然離人們樸素認知中的答案是有差距的。
就,Bard 能回答,但明顯不太聰明。。。
關於其他比較日常、簡單的問題,我們也進行了測試,Bard 都回答的還不錯,並且也有一定創造力,比如讓它用指定食材生成一個菜譜:
讓他編兩個小恐怖故事:
簡單數學問題上,Bard 也並不白給,他能回答文心一言答錯的問題:
Bard 的回答:
具體更多的 Bard 表現不錯的問題我們就不再贅述了,它大概能跟 ChatGPT 平分秋色。
綜合來講,Bard 還不錯,整體強於文心一言,但跟 ChatGPT 有一定差距。不過,前面的犯蠢案例+某些問題的表現甚至不如文心一言,是讓人有些失望的。
Google 發出來的這個產品,顯示不出它作為全球科技巨頭,深耕 AI 多年甚至一直是領軍企業的形象。
Google,似乎掉隊了,它不酷了。