大模型有泡沫在，To B企業要做的是給行業創造價值。
作者丨何思思
編輯丨林覺民
「在ChatGPT出現之前，我們就已經認識到大模型是個大趨勢，決定把公司已有產品的底層核心引擎全部轉移到大模型上，」 北京中關村科金技術有限公司技術副總裁張杰如是說。
這或許是很多人無法理解的，畢竟彼時大模型的概念還沒在國內流行開來。
而讓中關村科金下定決心全面擁抱大模型的原因在於，大模型並非新事物，早在2017年就有了Transformer的架構，次年穀歌就基於該架構推出了BERT大模型，並在產業界產生了不小反響。
反觀中關村科金的業務和產品，我們不難發現，區別於其他To B公司，自2014年成立以來，中關村科金就選擇以對話式AI為核心技術，專注於企業服務賽道提供對話場景服務，其不僅注重底層技術的自研，還強調下場做應用。
自帶AI基因，或許也是中關村科金較早擁抱大模型的原因之一。
大模型方面，中關村科金也在沿著之前的路徑走：一是自研領域大模型，二是做上層應用。
緣何做領域大模型而非通用大模型？
張杰告訴AI科技評論，從長遠來看，通用大模型確實能給行業帶來巨大的價值，但從目前來看，通用大模型在處理專業問題方面還不是很聰明，不能滿足企業對專業性、合規性、規模化的需求。相反領域大模型不僅不需要依賴大算力，還能切實解決領域內某幾類細分場景的問題。
至於備受業界關注的模型參數規模問題，張杰表示，主要結合實際場景的應用情況，比如財富管理領域的大模型只需要50 億參數規模就能很好的用於營銷、客服等場景，那就沒必要做成1000億參數 ，避免用大炮打蚊子，節省算力消耗的資源。
在進行領域模型探索的同時，中關村科金也沒有忽略應用層。AI科技評論了解到，目前中關村科金已有的產品如智能外呼、智能客服、智能質檢、智能陪練等產品通過自研的對話引擎已全面擁抱大模型。此外，中關村科金還結合企業的痛點問題和客戶共創了多個有場景代表性的試點項目，例如：推出了虛擬員工助手，幫助企業打造「超級員工」，在營銷文案生成、客服問答、坐席助手等場景，助力企業營銷服價值提升，已經在業內有了很好的落地。
當然張杰也坦言，通用大模型已經火到了一定程度，目前C端應用火爆，「但在B端企業服務賽道，很少有人意識到大模型未來會對企業的生產關係帶來很大影響。」
以下是AI科技評論和張杰的對話：
1 不會為了追求風口
做一些姿勢大於效果的創新
AI科技評論：AI技術發展速度很快，過去兩年公司的AI技術路線做了哪些調整？
張杰：過去兩年最大的技術路線調整就是把公司已有產品的底層核心引擎全面替換成大模型。
AI科技評論：所以去年您就預見了大模型會是下一個風口？
張杰：大模型帶來的研究範式的巨變是必然現象。大模型不是ChatGPT出來之後才有的，2017年就已經有了transformer的架構，2018年穀歌基於Transformer推出了BERT模型，只是當時參數規模比較小，叫預訓練語言模型。現在為什麼叫大模型，是因為它的參數越來越大了。
BERT出來後對學術界、產業界影響都很大，因為它的通用性比較好。BERT是判別式模型，GPT是生成式模型。隨著GPT能力的不斷提升，很多學術研究的子方向的特殊性都沒了，研究範式開始趨向於統一。
最初GPT的技術路線還是非主流的，但OpenAI一直堅持生成式模型的路線，沒想到現在生成式的任務效果這麼好，變成主流了。很多序列標註、分類任務都可以轉成生成式的任務。
AI科技評論：為什麼要做這樣的調整？
張杰：我們是一家務實經營的科技公司，過去多年都是連續盈利的，科技創新唯有苦練內功，所以我們不會為了追求風口做一些姿勢大於效果的技術。
那為什麼要把產品全部轉移到大模型上面？因為效果好、成本低。訓練一個模型類似於培養一名學生，之前的技術路線是按場景任務定製專用的模型，需要大量標註數據，相當於「只刷題、不看書」的思路，這樣的方式培養出來的學生在考試時只會做相似的題型，遇到新題型就答不好了。而大模型的思路是「先大量看書、再少量做題」，模型本身的通用性較好，學到了知識體系，面對新題型時給少數幾個樣例甚至不給樣例就能答對。從而使得我們的產品可復用程度高、定製化的交付成本降低。
AI科技評論：產品需要重構嗎？
張杰：這要看產品里包含哪些功能。如果產品里包含了很多需要人工配置領域知識的模塊，比如關鍵詞、相似問、問答對等，那就需要重構。如果產品在行業屬性與工具能力解耦方面做的很好了，重構代價就會比較低。
AI科技評論：率先做了哪些場景的應用？
張杰：我們已有的產品主要是圍繞企業服務賽道的對話場景，比如說外呼營銷機器人、客服機器人、智能質檢、智能陪練、辦公助手等。
比如，通過呼叫中心將銷售過程錄下來，採用ASR語音轉寫技術將錄音轉成文本；再通過對話文本挖掘出用戶的意圖；隨著對話過程不斷進行，大模型可以實時生成流程圖譜，給銷售提供對話建議，分析潛在的話題引導方向，提升銷售人員的營銷技能，提高成單率和用戶的留存率。
AI科技評論：市場接受度如何？
張杰：這取決於產品是否能給客戶帶來價值。
簡單介紹一個代表性的應用案例，以前在一個新場景構建外呼機器人，大概需要2~3周時間，且需要非常熟練的話術師才行。但現在，藉助一個構造好的領域大模型，只需大約1-2天時間就可以成功交付，能明顯降低交付成本，加快交付效率。
與傳統的智能客服相比，大模型進一步降低了開發和運維成本。以前，各種場景都需要算法工程師標註數據以訓練特定任務的模型，因此開發成本較高。現在，大模型本身的通用性好，不再需要很多算法工程師標數據，可以直接拿過來用，有時稍微標幾條數據就夠了。企業部署外呼機器人、客服系統的成本會大大降低。原有30個話術師的工作量，現在2人即可完成，而且語義理解準確度從85%提升至94% 。所以看到這個實際效果後，客戶的接受度還是很高的。
AI科技評論：相對來說，哪些客戶對大模型技術的接受度更高一些？
張杰：一些客戶是行業龍頭企業，之前嘗到了數位化轉型帶來的紅利，這次也更願意嘗試。有些客戶是排在行業頭部但不是龍頭，想彎道超車。
這些企業的共同點就是關注投入產出比、合規性、安全性，如果這項新技術不能帶來顯著的經營效益，那麼在企業內部也很難立項通過。
2 從有經驗積累的行業出發
找契機深入其他領域
AI科技評論：中關村科金為什麼選擇從金融行業嘗試大模型應用？
張杰：與其他行業相比，金融行業對於數位化轉型項目的接受度更高、場景需求更明確、智能化手段帶來的商業價值更明顯。並且像頭部金融企業對於服務品質、響應速度各方面要求都很高，需要合作夥伴能夠迅速和他一起共創，這時候腰部企業看到成功案例後，再去複製就很快了。
AI科技評論：是不是很難？畢竟對數據方面的要求比較高？
張杰：數據方面的要求可以細分來看，是容易獲取的公域數據還是很難獲取的私域數據、是成本低的隱性標註數據還是成本高的顯性標註數據。To B場景下，訓練一個領域模型更要有一些高質量的、小規模的數據，但數據標註成本比較高，不是每家AI公司都有能力自建團隊去做，這是我們能做大模型應用的一個門檻和優勢。
把這些高質量的領域常識數據灌到大模型里訓練，就可以讓模型具備更多的領域知識，學到領域的語言特色，對領域數據的理解能力和生成能力也會提升。除了將通用大模型這個「文科生」變成領域專家外，我們還通過領域prompt工程組件讓它能有效的處理特定場景下的任務，具備場景技能。
AI科技評論：客戶願意把自己的數據拿出來訓練嗎？
張杰：像銀行自有的數據是需要我們去銀行駐場訓練的。其實這裡面有個誤區。如果想要訓練大模型，不能只用企業機構自身已有的數據，還需要公域的數據，比如，金融大模型需要行業研究報告、財經類新聞、上市公司財報、專家解讀等。這些數據如何篩選、如何讓模型即學到領域知識又不至於忘記通用常識、如何將領域知識與場景具體問題關聯起來等等，這些問題都需要做探索和積累。目前高質量數據一部分是精心篩選後的公域數據，另外一部分是小規模高質量私域數據。
另外很多公司還沒有完全意識到，不僅是原始數據有價值，歸納總結出來的抽象知識也是非常有價值的。就好比太陽系8大行星過去 100 年在天空中的軌跡數據，這些原始數據的價值可能比不上萬有引力定律這一條抽象知識。
AI科技評論：之後會做哪些應用？會主動選擇一些場景突破嗎？
張杰：還是要看契機，很多時候技術是共通的，但具體做什麼場景要看機緣。我們也一直在不斷尋找各行各業的客戶和我們一起共創的機會。目前我們在金融、公安、醫保、健康領域有一些落地場景，未來會繼續深挖這些領域大模型的複雜推理能力，讓模型不但具有專業性、具備專業的事實判斷能力，還要具備自主的過程判斷能力，成為具備跨場景的虛擬辦公助手。
3 大模型有泡沫在，C端火爆
B端落地還需時日
AI科技評論：在大模型選擇上有什麼標準嗎？
張杰：這個對我們來說還是很有挑戰的，我們嘗試了目前市面上各種開源模型，快速研究、測試和訓練。這些都需要結合不同的業務場景需求，很耗時間和人力。
我們積累了一套工具，能快速的跑出一些指標，指標體系包括模型本身的內在屬性、通用語言能力、領域特定任務。這些指標需要提前構建大量測試集，就像學生考試一樣，可以在考試系統進行隨機抽題。
AI科技評論：怎麼看待大模型目前的發展局面？
張杰：大模型的應用分C端和B端。目前C端還是非常火爆的，C端可能更多的是圍繞創意和生成，尤其是圖片、語音、視頻等多媒體生成，各類工具和創意層出不窮。而B端主要關注對話場景和推理能力兩大方面，目前真正商用落地的優秀案例不多。
AI科技評論：也就是說大模型還是有一定泡沫存在的？
張杰：大潮之下泡沫肯定是有的，但從長遠來看，它確實能給行業帶來巨大的增值和機遇。大模型火爆出圈，也有助於讓更多人認識到AI的價值，減少了向客戶做科普的成本，加速了AI商業化的進程。
AI科技評論：為什麼B端還很少有落地的？
張杰：因為畢竟是商用，門檻比較高，模型的過程判斷邏輯和最終生成的內容要有可解釋性、可控性，要符合公序良俗、符合行業規範、遵循公司內部的標準流程，要對可能出現的風險有體系化的應對策略。另外，新技術的試點驗證和大面積推廣總要有個過程。
AI科技評論：就像您說的C端應用場景可能會更多，未來會做C端嗎？
張杰：目前我們還未看到C端有特別好的變現場景，但我們的產品也是可以To C的。
就拿保險行業來說，現在全國有幾百萬保險代理人，這些保險代理人會在保險公司間流動，有些還是獨立保險代理人。保險大模型做為代理人助手，既可以賣個保險公司，又可以直接讓代理人使用。
4 做好流程挖掘，有了領域知識庫
才能做好領域模型
AI科技評論：大模型是不是更利好中關村科金這類有AI能力的服務商的發展？
張杰：對於服務商來講有利有弊。服務商提供的工具或服務，如果本身的價值或特殊性不夠，那會被大模型的能力升級淹沒。如果廠商在數據敏感度高、流程邏輯性強、可解釋性要求高的行業內，既有行業經驗積累、又有大模型技術能力和產品化能力，那肯定是利好的。AI能力不是唯一的關鍵，它是必要非充分條件。因為B端企業接受AI這是必然的，AI的門檻也是逐年降低的。
AI科技評論：這是不是意味著通用大模型還很難解決某個細分領域的問題？
張杰：只能說現在的通用大模型在知識複雜度高的行業里，還不能直接應用。通用大模型是經歷過素質教育的文科生，要成為領域專家還需要做領域適配。
AI科技評論：所以您更傾向於做領域大模型？
張杰：對，領域大模型是我們正在做的事情。其實領域大模型從一定意義上來說也是通用模型，它即需要保持通用的常識和推理，又需要具備領域內的專業知識和技能。領域大模型一定會是大模型技術商用化的未來。
AI科技評論：貴司具備哪些研發領域模型的優勢呢？
張杰：中關村科金過去8年積累了很多數據，並且這些數據每天都在不斷增加。現在我們私域的對話數據，人工對話每天超過30萬通，機器對話每天超過200萬通。這些是我們獨有的。除了原始數據，還有一些更抽象的、價值更高的場景話術模板，這些知識結合了AI心理學、自主代理等技術。我們的領域模型現在已經可以做到單周疊代、單卡推理了。
AI科技評論：在大模型方面中關村科金還一直強調知識庫的概念，為什麼？
張杰：關於這個我總結了一個公式，企業對話引擎=（大模型+知識庫）*人機互動。
大模型的語言理解能力和生成能力比較強，但它不適合記憶標準流程類的知識和海量低頻的領域事實性的知識，這些東西還是應該放在知識庫裡面，它們之間有交互。
比如你經歷過大學四年的專業教育後，會掌握一些領域內的通識能力，知道一件事應該怎麼做，但每個步驟可能還要去查一些資料，書本上的知識點你並不需要全部都死記硬背下來。人是不太適合背百科全書的，大腦之外還應該有一個知識庫，實現能力互補。
AI科技評論：中關村科金在大模型方面的的願景是什麼？
張杰：幫助企業去培養「超級員工」。大模型就像是一個智商較高、理解能力很強、過目不忘的「文科生」，我們在這個底子很好的「文科生」基礎之上，注入企業的領域知識，讓大模型能夠理解領域知識，成為一個具備領域知識的「普通員工」。再依託專業的產品設計，不斷和人類專家進行閉環反饋。基於人類專家的反饋，它能夠不斷地學習提升，逐步成為「超級員工」。未來這些「超級員工」能幫企業改造內部的新型生產關係。
之前企業可能是一個樹狀的管理結構，從上面董事會到下面的各個部門，一層一層往下是金字塔式的。未來大模型帶來的啟示是，它可以獨立承擔一些任務，不單單是體力勞動的替代，還能替代一些簡單的腦力勞動。
未來企業的組織結構將呈現紡錘形，上層是人類經營者負責做重大決策和戰略，中間層真正負責幹活的是AI了，但有時候也不能完全交給AI，需要少數的業務專家會指導機器或與機器協同互補。所以會是「人— 機—人」的架構。
我們相信，未來一定是人機協同的。隨著大模型重構企業組織架構、重塑企業生產關係，從短期來看，一些不產生價值的、中間的職能崗位，可能會很快將被機器取代掉。長期來看，關於價值判斷、規則制定、以及關乎人性和心理的工作，是大模型不能取代的。
未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！
公眾號轉載請先在「AI科技評論」後台留言取得授權，轉載時需標註來源並插入本公眾號名片。