昨天拿到了百度文心一言的體驗資格,趕緊去試了一下,這裡給大家報告一下體驗結果。下面我從這8個方面給大家展示一下百度文心一言的能力:
1、對古文的理解。(100分)
2、編寫劇本、故事。(100分)
3、多輪對話的能力。(50分)
4、翻譯能力。(80分)
5、聯網總結文章的能力。(0分)
6、寫代碼能力。(10分)
7、調試Bug能力。(0分)
8、畫畫能力。(10分)
以上打分都是非常主觀的感受,每個人都會有不同的心理分,上面只是小編自己的感受打分,僅供參考,無需當真。滿分都是100分。
下面讓我們具體感受一下文心一言的能力。
1對古文的理解。
Q:
今天晚上夕陽很美,可以太陽就要落山了。我想用古文發個朋友圈,應該這麼說?
A:
"夕陽無限好,只是近黃昏。今宵天色美,可惜日落時。"
"今日夕陽甚美,可惜日暮已至。"
"夕陽猶未盡,黃昏已降臨。"
"夕陽漸消散,餘暉照山崗。"
"美景雖短暫,夕陽卻甚好。"
Q:
我雄心勃勃想要干一番事業,現在正在躊躇滿志。想用古文發個朋友圈,應該怎麼說?
A:
吾志豪邁,欲建功業,見志未遂,躊躇滿志。
今日思維通達,信心倍增,若逢機會,定當一展抱負。
欲投身於事業,奮發向前,披荊斬棘,創造輝煌。
這個環節文心一言的表現尚可,但是這個也是最簡單的環節。答案從搜索結果中提取,應該就完成七八分了。
2編寫劇本、故事
Q:
我想寫一個小說,科幻類的,內容要包含人類登上火星,人類能夠永生,且男女主角要有一段可歌可泣的愛情故事。請給我提供這個小說的大綱。
A:
小說大綱:
前言:人類的未來充滿了科技的希望,人類登上火星,探索宇宙的奧秘,尋找永生的方法。
第一章:人類登上火星
男主角李宇是一名年輕的太空人,他被選中參加人類登上火星的任務。在火星上,他遇到了女主角張琳,一位聰明美麗的科學家。兩人一見鍾情,但他們的愛情受到了各種挑戰。
第二章:探索永生的方法
李宇和張琳在火星上度過了數月,他們不斷探索宇宙的奧秘,尋找永生的方法。他們發現了一種神秘的物質,這種物質可以讓人類獲得永生。但是,這種物質卻隱藏著巨大的危險。
第三章:陰謀的浮現
在探索永生的過程中,李宇和張琳逐漸發現了一個陰謀。原來,一些科學家和政府官員計劃利用這種神秘物質,控制整個宇宙。他們不惜一切代價,甚至不惜犧牲無數人的生命,也要實現自己的目的。
第四章:愛情的考驗
李宇和張琳決定要阻止這個陰謀,他們決定要找到背後的黑手,揭示他們的陰謀。在一次次的冒險中,他們逐漸接近了真相,但也遭遇了巨大的危險。
第五章:戰鬥的開始
在揭示陰謀的過程中,李宇和張琳遭遇了前所未有的挑戰。他們不得不與政府官員和科學家進行激烈的戰鬥,為了保護人類的未來,他們必須要贏得這場戰鬥。
第六章:愛情的升華
在戰鬥中,李宇和張琳的感情不斷升華,他們意識到,愛情是最偉大的力量。最終,他們成功揭示了陰謀,挽救了整個宇宙。
第七章:結局
李宇和張琳回到地球,他們的愛情也得到了圓滿的結局。他們一起走過了漫長的旅程,經歷了無數的冒險,最終他們走到了一起,過上了幸福的生活。
這就是小說的大綱,希望對你有所幫助。在寫小說時,你可以根據自己的想法和故事情節,進行適當的修改和完善。
這個故事大綱大體令人滿意的,ChatGPT 生成出來的故事大綱,也大概是這樣的結構。
3多輪對話能力
Q:
基於前面你給出的第一章綱要,將第一章內容擴充為一個400字的故事。
A:
李宇是一名年輕的太空人,他夢想著能夠登上火星,探索宇宙的奧秘。在一次宇航選拔中,他憑藉自己的才華和努力,成功地被選中參加人類登上火星的任務。
登上火星的那一天,李宇心情激動,他和其他太空人們一起登上飛船,前往火星。當飛船離開地球,穿過大氣層,他感受到了那種熟悉的刺痛感,他知道,他已經離開了地球,踏上了火星的土地。
在火星上,李宇和其他太空人們遇到了很多挑戰,他們需要面對嚴酷的環境,抵抗強烈的輻射,還要應對食物和水源的短缺。但是,他們並沒有放棄,他們相互幫助,相互鼓勵,一步步地向著目標前進。
在一次登陸火星的任務中,李宇和其他太空人們終於發現了一種神秘的物質,這種物質可以讓人類獲得永生。他們興奮不已,認為這是人類歷史上的重大發現。但是,很快他們發現,這種物質卻隱藏著巨大的危險。
原來,一些科學家和政府官員計劃利用這種神秘物質,控制整個宇宙。他們不惜一切代價,甚至不惜犧牲無數人的生命,也要實現自己的目的。他們在秘密實驗室里研究這種物質,卻不顧及它對人類健康的危害。
李宇和張琳是一對戀人,他們也在探索永生的過程中結識。
可以看到,文心一言是有多輪對話能力的,知道我的目的是要擴充一個故事。但是它生成的內容,明顯超出了第一章的範圍,包含了後面章節的內容。也就是說,它沒有完全理解我的要求,只有部分的理解能力。
接下來,我指出它的錯誤,看看它能不能道個歉,並改正。
Q:
你寫的這段超出了第一章綱要的範圍,發現神秘物質是第二章的內容,請糾正這個錯誤,重寫改寫第一章的內容,還是要求400字。
A:
第一章
人類的未來充滿了科技的希望,人類登上火星,探索宇宙的奧秘,尋找永生的方法。
李宇是一名年輕的太空人,他有著追求夢想的勇氣和決心。在一次宇航選拔中,他憑藉自己的才華和努力,成功地被選中參加人類登上火星的任務。他的女友張琳也是太空人之一,他們一起登上飛船,前往火星。
當飛船離開地球,穿過大氣層,李宇感受到了那種熟悉的刺痛感,他知道,他已經離開了地球,踏上了火星的土地。這個星球被巨大的溫差和狂風暴雨所覆蓋,但是這並沒有讓他們的激情減弱。
在火星上,李宇和張琳一起探索著這個神秘的星球,他們遇到了許多的挑戰和困難。但是,他們相互支持,相互幫助,一起克服了所有的困難。他們發現了一個神秘的地方,那裡充滿了奇特的物質。
這種物質可以讓人類獲得永生,但是,李宇和張琳也發現了,這種物質隱藏著巨大的危險。一些科學家和政府官員計劃利用這種物質,控制整個宇宙。他們不惜一切代價,甚至不惜犧牲無數人的生命,也要實現自己的目的。他們在秘密實驗室里研究這種物質,卻不顧及它對人類健康的危害。
李宇和張琳決定要阻止這個陰謀,他們決定要找到背後的黑手,揭示他們的陰謀。在一次次的冒險中,他們逐漸接近了真相,但也遭遇了巨大的危險。
在和政府官員和科學家的鬥爭中,李宇和張琳遭遇了前所未有的挑戰。他們不得不與他們進行激烈的戰鬥,為了保護人類的未來,他們必須要贏得這場戰鬥。
在這場戰鬥中,李宇和張琳的感情不斷升華,他們意識到,愛情是最偉大的力量。最終,他們成功揭示了陰謀,挽救了整個宇宙。
在回到地球的路上,李宇和張琳一起走過了漫長的旅程,他們經歷了無數的冒險,最終他們走到了一起,過上了幸福的生活。他們的愛情也得到了圓滿的結局,他們將一起走過更長的路程,迎接未來的挑戰。
沒有道歉,有點失望,ChatGPT是會道歉的。另外,錯誤也沒有被糾正,依舊包含了後面章節的內容。理解能力相比ChatGPT是差了一大截的。沒辦法,我把第一章的內容複製一遍,看看能不能依據這個具體內容進行擴展。
Q:
第一章內容如下:男主角李宇是一名年輕的太空人,他被選中參加人類登上火星的任務。在火星上,他遇到了女主角張琳,一位聰明美麗的科學家。兩人一見鍾情,但他們的愛情受到了各種挑戰。請將這個劇情擴充為400字。
A:
李宇和張琳來到火星,他們對這個未知的世界充滿了好奇。這裡的空氣是如此稀薄,地面溫度極低,讓人難以適應。但是他們並沒有被這些挑戰所嚇倒,相反,他們更加興奮地探索著這個神秘的星球。
在一次探險中,他們發現了一個神秘的洞穴。洞穴裡面有許多奇特的物質,它們發出閃亮的光芒。李宇和張琳對這些物質非常感興趣,他們決定深入研究一下。
在研究過程中,他們發現這些物質可以讓人類獲得永生。這個發現讓他們非常興奮,因為這意味著人類可以永遠生存下去,不再需要面對死亡的恐懼。但是他們也發現,這種物質對人體有著巨大的危害。
李宇和張琳決定要尋找這種物質的來源,他們希望能夠找到一種更加安全的方法來使用它。在他們的探險過程中,他們遇到了一些科學家和政府官員,他們告訴他們,這種物質是由一個叫做「黑暗組織」的秘密團體製造出來的。
李宇和張琳決定要調查這個組織,他們希望能夠找到證據來揭露他們的陰謀。在他們的調查過程中,他們遭遇了許多的困難和危險,但是他們並沒有放棄,相反,他們更加勇敢地前進著。
最終,李宇和張琳成功地揭露了這個組織的陰謀,他們將這些證據交給了政府和科學界,使得他們得以安全地使用這種物質,讓人類得以永遠生存下去。
還是包含了其他章節的內容,可見文心一言的這個多輪對話,就是包含了之前對話的全部內容,對每一句的具體含義理解不足。
4翻譯能力
第一個問題我讓文心一言進行英譯中,沒問題。第二個問題我讓它將中文翻譯為英文和日文,它翻譯成了英文,沒有翻譯日文。這個文心一言的啟動頁上有說明,說它只會中文和英文。結果合理。
然後我讓它單獨翻譯成日文,它還是翻譯成了英文。
沒有成功翻譯成日文,我覺得不是問題,甚至說明了百度的誠實。首先,文心一言自己說了不會英文以外的其他語言,不會就不會,沒什麼關係。其次,至少說明了這個翻譯功能是大語言模型的輸出,而不是把文本發給「百度翻譯」進行處理(百度翻譯是可以翻譯成日文的),說明百度確實是老老實實地在開發類 ChatGPT 的大語言模型,而不是用已有的功能糊弄我們。我也去百度翻譯試了下,確實翻譯結果跟文心一言不一樣:
5聯網總結文章能力
這個功能簡單一句話概括:沒聯網。
6寫代碼
無論是Shell,還是Web,還是Python,輸出的代碼基本都是一本正經地胡說八道(文心一言努力在寫,但是就是做不到)。另外文心一言輸出的最大字數很小,無法輸出一個完整的腳本代碼。
#!/bin/bash
# 定義一個名為 `container_names` 的字符串數組
container_names=("barrager-server-01" "barrager-worker-01" "qunstats-worker-01" "qunstats-server-01" "qunstats-schedule-01" "qunstats-consumer-01" "voidcloud-server-01" "voidcloud-worker-01" "voidcloud-worker-01")
# 定義一個名為 `get_container_name` 的函數,用於根據參數項目名稱從 `container_names` 數組中獲取對應的容器名
function get_container_name() {
local project_name=$1
local container_name=${container_names[$project_name]}
echo $container_name
}
# 測試腳本參數為「barrager」時的操作
if [ "$1" = "barrager" ]; then
docker run --name barrager-server-01 -d -p 8080:8080 barrager
docker run --name barrager-worker-01 -d -p 8080:8080 barrager
docker run --name qunstats-worker-01 -d -p 8080:8080 qunstats
docker run --name qunstats-server-01 -d -p 8080:8080 qunstats
docker run --name qunstats-schedule-01 -d -p 8080:8080 qunstats
docker run --name qunstats-consumer-01 -d -p 8080:8080 qunstats
docker run --name voidcloud-server-01 -d -p 8080:8080 voidcloud
docker run --name voidcloud-worker-01 -d -p 8080:8080 voidcloud
docker run --name voidcloud-worker-01 -d -p 8080:8080 voidcloud
fi
輸出的Shell腳步沒有實現既定功能,函數定義也很不合理。但是能看出,技術路線確實是類似ChatGPT的,有生成過程,每段代碼也有對應的解釋,只不過寫的不對罷了。
讓文心一言寫一個Web頁面,展示一顆愛心,代碼沒有輸出完整。
Python代碼也是,沒有輸出完整。問題是:寫一段Python腳本,來將4張圖片和一段音頻合成為一段視頻。
import cv2
import os
# 設置輸入和輸出文件夾路徑
input_folder = "path/to/input/folder/"
output_folder = "path/to/output/folder/"
# 獲取所有輸入文件
images = []
for filename in os.listdir(input_folder):
if filename.endswith(".jpg") or filename.endswith(".png"):
images.append(os.path.join(input_folder, filename))
# 獲取所有輸出文件
Videos = []
for filename in os.listdir(output_folder):
if filename.endswith(".mp4"):
videos.append(os.path.join(output_folder, filename))
# 讀取音頻文件
audio_file = "path/to/audio/file.mp3"
audio_format = "pcm_s16le"
audio_file_path = os.path.join(input_folder, audio_file)
audio_reader = cv2.AudioReader(audio_file_path, audio_format)
# 讀取圖片文件
image_files = []
for filename in os.listdir(input_folder):
if filename.endswith(".jpg") or filename.endswith(".png"):
image_files.append(os.path.join(input_folder, filename))
# 設置視頻參數
fourcc = cv2.VideoWriter_fourcc(*"mp4v")
fps = 30.0
size = (640, 480)
# 創建VideoWriter對象
fourcc_out = cv2.VideoWriter_fourcc(*"mp4v")
out = cv2.VideoWriter(os.path.join(output_folder, "output.mp4"), fourcc_out, fps, size)
# 寫入視頻參數
for filename in image_files:
image = cv2.imread(filename)您可能需要根據您的實際需求進行調整。
7調試Bug
代碼寫不出來,調試Bug自然也不能報什麼期望。
我還沒說具體的代碼呢,自己就輸出了一堆,說了一堆改進意見,結果改了的代碼和沒改的代碼是一樣的,明顯就是出現「幻覺」了。
但是就算是一個最簡單的變量未定義的bug,文心一言也看不出來,它的回答明顯是瞎矇的。它連我寫的是Python代碼都沒看出來。
8畫畫(Text to Image)
畫出來的感受就是像沒有調教過的 Stable Diffusion。跟 Midjourney 比,還拿不出手。
總結
總結一下吧,百度文心一言總的來說,確實認真在做了,技術實現貨真價實、不蒙不騙,值得鼓勵和期待。目前的水平距離 ChatGPT 3.5 還有很大差距。差距原因猜測的話,可能訓練的語料確實量遠遠不足,人家默默做3年,這個時間成本規避不掉的。個人傾向於認同搜狗CEO王小川的說法,文心一言追上ChatGPT,還需要小一年時間。同時,文心一言也值得相信,百度能做出類ChatGPT的產品,讓我們給百度一點時間,也給其他中國廠商一點時間,中國廠商能行的!
時刻跟蹤Python與AI的最新動態,歡迎關注Python部落