百度文心一言體驗評測:文字能力尚可,代碼能力不佳

python部落 發佈 2023-05-05T18:27:28.480946+00:00

昨天拿到了百度文心一言的體驗資格,趕緊去試了一下,這裡給大家報告一下體驗結果。下面我從這8個方面給大家展示一下百度文心一言的能力:1、對古文的理解。

昨天拿到了百度文心一言的體驗資格,趕緊去試了一下,這裡給大家報告一下體驗結果。下面我從這8個方面給大家展示一下百度文心一言的能力:

1、對古文的理解。(100分)

2、編寫劇本、故事。(100分)

3、多輪對話的能力。(50分)

4、翻譯能力。(80分)

5、聯網總結文章的能力。(0分)

6、寫代碼能力。(10分)

7、調試Bug能力。(0分)

8、畫畫能力。(10分)

以上打分都是非常主觀的感受,每個人都會有不同的心理分,上面只是小編自己的感受打分,僅供參考,無需當真。滿分都是100分。

下面讓我們具體感受一下文心一言的能力。

1對古文的理解。

Q:

今天晚上夕陽很美,可以太陽就要落山了。我想用古文發個朋友圈,應該這麼說?

A:

"夕陽無限好,只是近黃昏。今宵天色美,可惜日落時。"

"今日夕陽甚美,可惜日暮已至。"

"夕陽猶未盡,黃昏已降臨。"

"夕陽漸消散,餘暉照山崗。"

"美景雖短暫,夕陽卻甚好。"


Q:

我雄心勃勃想要干一番事業,現在正在躊躇滿志。想用古文發個朋友圈,應該怎麼說?

A:

吾志豪邁,欲建功業,見志未遂,躊躇滿志。

今日思維通達,信心倍增,若逢機會,定當一展抱負。

欲投身於事業,奮發向前,披荊斬棘,創造輝煌。

這個環節文心一言的表現尚可,但是這個也是最簡單的環節。答案從搜索結果中提取,應該就完成七八分了。

2編寫劇本、故事

Q

我想寫一個小說,科幻類的,內容要包含人類登上火星,人類能夠永生,且男女主角要有一段可歌可泣的愛情故事。請給我提供這個小說的大綱。

A

小說大綱:

前言:人類的未來充滿了科技的希望,人類登上火星,探索宇宙的奧秘,尋找永生的方法。

第一章:人類登上火星

男主角李宇是一名年輕的太空人,他被選中參加人類登上火星的任務。在火星上,他遇到了女主角張琳,一位聰明美麗的科學家。兩人一見鍾情,但他們的愛情受到了各種挑戰。

第二章:探索永生的方法

李宇和張琳在火星上度過了數月,他們不斷探索宇宙的奧秘,尋找永生的方法。他們發現了一種神秘的物質,這種物質可以讓人類獲得永生。但是,這種物質卻隱藏著巨大的危險。

第三章:陰謀的浮現

在探索永生的過程中,李宇和張琳逐漸發現了一個陰謀。原來,一些科學家和政府官員計劃利用這種神秘物質,控制整個宇宙。他們不惜一切代價,甚至不惜犧牲無數人的生命,也要實現自己的目的。

第四章:愛情的考驗

李宇和張琳決定要阻止這個陰謀,他們決定要找到背後的黑手,揭示他們的陰謀。在一次次的冒險中,他們逐漸接近了真相,但也遭遇了巨大的危險。

第五章:戰鬥的開始

在揭示陰謀的過程中,李宇和張琳遭遇了前所未有的挑戰。他們不得不與政府官員和科學家進行激烈的戰鬥,為了保護人類的未來,他們必須要贏得這場戰鬥。

第六章:愛情的升華

在戰鬥中,李宇和張琳的感情不斷升華,他們意識到,愛情是最偉大的力量。最終,他們成功揭示了陰謀,挽救了整個宇宙。

第七章:結局

李宇和張琳回到地球,他們的愛情也得到了圓滿的結局。他們一起走過了漫長的旅程,經歷了無數的冒險,最終他們走到了一起,過上了幸福的生活。

這就是小說的大綱,希望對你有所幫助。在寫小說時,你可以根據自己的想法和故事情節,進行適當的修改和完善。

這個故事大綱大體令人滿意的,ChatGPT 生成出來的故事大綱,也大概是這樣的結構。

3多輪對話能力

Q

基於前面你給出的第一章綱要,將第一章內容擴充為一個400字的故事。

A:

李宇是一名年輕的太空人,他夢想著能夠登上火星,探索宇宙的奧秘。在一次宇航選拔中,他憑藉自己的才華和努力,成功地被選中參加人類登上火星的任務。

登上火星的那一天,李宇心情激動,他和其他太空人們一起登上飛船,前往火星。當飛船離開地球,穿過大氣層,他感受到了那種熟悉的刺痛感,他知道,他已經離開了地球,踏上了火星的土地。

在火星上,李宇和其他太空人們遇到了很多挑戰,他們需要面對嚴酷的環境,抵抗強烈的輻射,還要應對食物和水源的短缺。但是,他們並沒有放棄,他們相互幫助,相互鼓勵,一步步地向著目標前進。

在一次登陸火星的任務中,李宇和其他太空人們終於發現了一種神秘的物質,這種物質可以讓人類獲得永生。他們興奮不已,認為這是人類歷史上的重大發現。但是,很快他們發現,這種物質卻隱藏著巨大的危險。

原來,一些科學家和政府官員計劃利用這種神秘物質,控制整個宇宙。他們不惜一切代價,甚至不惜犧牲無數人的生命,也要實現自己的目的。他們在秘密實驗室里研究這種物質,卻不顧及它對人類健康的危害。

李宇和張琳是一對戀人,他們也在探索永生的過程中結識。

可以看到,文心一言是有多輪對話能力的,知道我的目的是要擴充一個故事。但是它生成的內容,明顯超出了第一章的範圍,包含了後面章節的內容。也就是說,它沒有完全理解我的要求,只有部分的理解能力。

接下來,我指出它的錯誤,看看它能不能道個歉,並改正。

Q:

你寫的這段超出了第一章綱要的範圍,發現神秘物質是第二章的內容,請糾正這個錯誤,重寫改寫第一章的內容,還是要求400字。

A:

第一章

人類的未來充滿了科技的希望,人類登上火星,探索宇宙的奧秘,尋找永生的方法。

李宇是一名年輕的太空人,他有著追求夢想的勇氣和決心。在一次宇航選拔中,他憑藉自己的才華和努力,成功地被選中參加人類登上火星的任務。他的女友張琳也是太空人之一,他們一起登上飛船,前往火星。

當飛船離開地球,穿過大氣層,李宇感受到了那種熟悉的刺痛感,他知道,他已經離開了地球,踏上了火星的土地。這個星球被巨大的溫差和狂風暴雨所覆蓋,但是這並沒有讓他們的激情減弱。

在火星上,李宇和張琳一起探索著這個神秘的星球,他們遇到了許多的挑戰和困難。但是,他們相互支持,相互幫助,一起克服了所有的困難。他們發現了一個神秘的地方,那裡充滿了奇特的物質。

這種物質可以讓人類獲得永生,但是,李宇和張琳也發現了,這種物質隱藏著巨大的危險。一些科學家和政府官員計劃利用這種物質,控制整個宇宙。他們不惜一切代價,甚至不惜犧牲無數人的生命,也要實現自己的目的。他們在秘密實驗室里研究這種物質,卻不顧及它對人類健康的危害。

李宇和張琳決定要阻止這個陰謀,他們決定要找到背後的黑手,揭示他們的陰謀。在一次次的冒險中,他們逐漸接近了真相,但也遭遇了巨大的危險。

在和政府官員和科學家的鬥爭中,李宇和張琳遭遇了前所未有的挑戰。他們不得不與他們進行激烈的戰鬥,為了保護人類的未來,他們必須要贏得這場戰鬥。

在這場戰鬥中,李宇和張琳的感情不斷升華,他們意識到,愛情是最偉大的力量。最終,他們成功揭示了陰謀,挽救了整個宇宙。

在回到地球的路上,李宇和張琳一起走過了漫長的旅程,他們經歷了無數的冒險,最終他們走到了一起,過上了幸福的生活。他們的愛情也得到了圓滿的結局,他們將一起走過更長的路程,迎接未來的挑戰。

沒有道歉,有點失望,ChatGPT是會道歉的。另外,錯誤也沒有被糾正,依舊包含了後面章節的內容。理解能力相比ChatGPT是差了一大截的。沒辦法,我把第一章的內容複製一遍,看看能不能依據這個具體內容進行擴展。

Q:

第一章內容如下:男主角李宇是一名年輕的太空人,他被選中參加人類登上火星的任務。在火星上,他遇到了女主角張琳,一位聰明美麗的科學家。兩人一見鍾情,但他們的愛情受到了各種挑戰。請將這個劇情擴充為400字。

A:

李宇和張琳來到火星,他們對這個未知的世界充滿了好奇。這裡的空氣是如此稀薄,地面溫度極低,讓人難以適應。但是他們並沒有被這些挑戰所嚇倒,相反,他們更加興奮地探索著這個神秘的星球。

在一次探險中,他們發現了一個神秘的洞穴。洞穴裡面有許多奇特的物質,它們發出閃亮的光芒。李宇和張琳對這些物質非常感興趣,他們決定深入研究一下。

在研究過程中,他們發現這些物質可以讓人類獲得永生。這個發現讓他們非常興奮,因為這意味著人類可以永遠生存下去,不再需要面對死亡的恐懼。但是他們也發現,這種物質對人體有著巨大的危害。

李宇和張琳決定要尋找這種物質的來源,他們希望能夠找到一種更加安全的方法來使用它。在他們的探險過程中,他們遇到了一些科學家和政府官員,他們告訴他們,這種物質是由一個叫做「黑暗組織」的秘密團體製造出來的。

李宇和張琳決定要調查這個組織,他們希望能夠找到證據來揭露他們的陰謀。在他們的調查過程中,他們遭遇了許多的困難和危險,但是他們並沒有放棄,相反,他們更加勇敢地前進著。

最終,李宇和張琳成功地揭露了這個組織的陰謀,他們將這些證據交給了政府和科學界,使得他們得以安全地使用這種物質,讓人類得以永遠生存下去。

還是包含了其他章節的內容,可見文心一言的這個多輪對話,就是包含了之前對話的全部內容,對每一句的具體含義理解不足。

4翻譯能力

第一個問題我讓文心一言進行英譯中,沒問題。第二個問題我讓它將中文翻譯為英文和日文,它翻譯成了英文,沒有翻譯日文。這個文心一言的啟動頁上有說明,說它只會中文和英文。結果合理。

然後我讓它單獨翻譯成日文,它還是翻譯成了英文。

沒有成功翻譯成日文,我覺得不是問題,甚至說明了百度的誠實。首先,文心一言自己說了不會英文以外的其他語言,不會就不會,沒什麼關係。其次,至少說明了這個翻譯功能是大語言模型的輸出,而不是把文本發給「百度翻譯」進行處理(百度翻譯是可以翻譯成日文的),說明百度確實是老老實實地在開發類 ChatGPT 的大語言模型,而不是用已有的功能糊弄我們。我也去百度翻譯試了下,確實翻譯結果跟文心一言不一樣:


5聯網總結文章能力

這個功能簡單一句話概括:沒聯網。

6寫代碼

無論是Shell,還是Web,還是Python,輸出的代碼基本都是一本正經地胡說八道(文心一言努力在寫,但是就是做不到)。另外文心一言輸出的最大字數很小,無法輸出一個完整的腳本代碼。

#!/bin/bash  
# 定義一個名為 `container_names` 的字符串數組  
container_names=("barrager-server-01" "barrager-worker-01" "qunstats-worker-01" "qunstats-server-01" "qunstats-schedule-01" "qunstats-consumer-01" "voidcloud-server-01" "voidcloud-worker-01" "voidcloud-worker-01")  
  
# 定義一個名為 `get_container_name` 的函數,用於根據參數項目名稱從 `container_names` 數組中獲取對應的容器名  
function get_container_name() {  
  local project_name=$1  
  local container_name=${container_names[$project_name]}  
  echo $container_name  
}  
  
# 測試腳本參數為「barrager」時的操作  
if [ "$1" = "barrager" ]; then  
  docker run --name barrager-server-01 -d -p 8080:8080 barrager  
  docker run --name barrager-worker-01 -d -p 8080:8080 barrager  
  docker run --name qunstats-worker-01 -d -p 8080:8080 qunstats  
  docker run --name qunstats-server-01 -d -p 8080:8080 qunstats  
  docker run --name qunstats-schedule-01 -d -p 8080:8080 qunstats  
  docker run --name qunstats-consumer-01 -d -p 8080:8080 qunstats  
  docker run --name voidcloud-server-01 -d -p 8080:8080 voidcloud  
  docker run --name voidcloud-worker-01 -d -p 8080:8080 voidcloud  
  docker run --name voidcloud-worker-01 -d -p 8080:8080 voidcloud  
fi

輸出的Shell腳步沒有實現既定功能,函數定義也很不合理。但是能看出,技術路線確實是類似ChatGPT的,有生成過程,每段代碼也有對應的解釋,只不過寫的不對罷了。

讓文心一言寫一個Web頁面,展示一顆愛心,代碼沒有輸出完整。

Python代碼也是,沒有輸出完整。問題是:寫一段Python腳本,來將4張圖片和一段音頻合成為一段視頻。

import cv2  
import os  
  
# 設置輸入和輸出文件夾路徑  
input_folder = "path/to/input/folder/"  
output_folder = "path/to/output/folder/"  
  
# 獲取所有輸入文件  
images = []  
for filename in os.listdir(input_folder):  
    if filename.endswith(".jpg") or filename.endswith(".png"):  
        images.append(os.path.join(input_folder, filename))  
  
# 獲取所有輸出文件  
Videos = []  
for filename in os.listdir(output_folder):  
    if filename.endswith(".mp4"):  
        videos.append(os.path.join(output_folder, filename))  
  
# 讀取音頻文件  
audio_file = "path/to/audio/file.mp3"  
audio_format = "pcm_s16le"  
audio_file_path = os.path.join(input_folder, audio_file)  
audio_reader = cv2.AudioReader(audio_file_path, audio_format)  
  
# 讀取圖片文件  
image_files = []  
for filename in os.listdir(input_folder):  
    if filename.endswith(".jpg") or filename.endswith(".png"):  
        image_files.append(os.path.join(input_folder, filename))  
  
# 設置視頻參數  
fourcc = cv2.VideoWriter_fourcc(*"mp4v")  
fps = 30.0  
size = (640, 480)  
  
# 創建VideoWriter對象  
fourcc_out = cv2.VideoWriter_fourcc(*"mp4v")  
out = cv2.VideoWriter(os.path.join(output_folder, "output.mp4"), fourcc_out, fps, size)  
  
# 寫入視頻參數  
for filename in image_files:  
    image = cv2.imread(filename)您可能需要根據您的實際需求進行調整。


7調試Bug

代碼寫不出來,調試Bug自然也不能報什麼期望。

我還沒說具體的代碼呢,自己就輸出了一堆,說了一堆改進意見,結果改了的代碼和沒改的代碼是一樣的,明顯就是出現「幻覺」了。

但是就算是一個最簡單的變量未定義的bug,文心一言也看不出來,它的回答明顯是瞎矇的。它連我寫的是Python代碼都沒看出來。


8畫畫(Text to Image)

畫出來的感受就是像沒有調教過的 Stable Diffusion。跟 Midjourney 比,還拿不出手。

總結

總結一下吧,百度文心一言總的來說,確實認真在做了,技術實現貨真價實、不蒙不騙,值得鼓勵和期待。目前的水平距離 ChatGPT 3.5 還有很大差距。差距原因猜測的話,可能訓練的語料確實量遠遠不足,人家默默做3年,這個時間成本規避不掉的。個人傾向於認同搜狗CEO王小川的說法,文心一言追上ChatGPT,還需要小一年時間。同時,文心一言也值得相信,百度能做出類ChatGPT的產品,讓我們給百度一點時間,也給其他中國廠商一點時間,中國廠商能行的!


時刻跟蹤Python與AI的最新動態,歡迎關注Python部落

關鍵字: