3月11日,由中國人工智能學(xué)會(CAAI)主辦,CAAI自然語言理解專委會、達觀數(shù)據(jù)、真格基金承辦,中國信通院云計算與大數(shù)據(jù)研究所支持的“ChatGPT及大模型專題研討會”在北京圓滿落幕。大會圍繞ChatGPT和大規(guī)模語言模型的發(fā)展應(yīng)用,聚集眾多人工智能專家學(xué)者,共同探討前沿技術(shù)及產(chǎn)業(yè)未來,呈現(xiàn)了一場精彩的思想交流盛宴。研討會通過五大平臺實時線上直播,共吸引線下線上十余萬觀眾收看。
CAAI副監(jiān)事長、清華大學(xué)教授馬少平在致辭中表示,中國人工智能學(xué)會希望同業(yè)界專家和產(chǎn)業(yè)界伙伴深入研討,把握時代脈搏,通過持續(xù)創(chuàng)新投入,共同促進中國大規(guī)模語言模型產(chǎn)業(yè)可持續(xù)發(fā)展。
中國信通院云計算與大數(shù)據(jù)研究所所長何寶宏致辭認為,ChatGPT帶來了人工智能技術(shù)和應(yīng)用的新一輪發(fā)展熱潮,雖然它離通用人工智能的距離還非常遙遠,但我們應(yīng)充分認識到借助人工智能技術(shù)進行分析、理解、生成的道路是正確的。這對于中國乃至全球人工智能企業(yè)而言,既是機遇也是挑戰(zhàn),希望各方一起攜手并進、共同助力人工智能產(chǎn)業(yè)的發(fā)展。
演講環(huán)節(jié),復(fù)旦大學(xué)計算機學(xué)院教授、MOSS系統(tǒng)負責(zé)人邱錫鵬,中國科學(xué)院自動化研究所研究員張家俊,CCF自然語言處理專委會秘書長、北大教授萬小軍,達觀數(shù)據(jù)董事長兼CEO、復(fù)旦大學(xué)計算機博士陳運文,新浪新技術(shù)研發(fā)負責(zé)人、CIPS理事張俊林等多位人工智能領(lǐng)域?qū)<遥瑥腃hatGPT及大規(guī)模語言模型的學(xué)術(shù)發(fā)展、應(yīng)用落地與前景展望三大維度進行了分享。
復(fù)旦大學(xué)計算機學(xué)院教授、MOSS系統(tǒng)負責(zé)人邱錫鵬認為,在未來幾年內(nèi),ChatGPT不光是以目前Chat的形式,它背后的大型語言模型可能以其他更廣泛的形式融入到我們的生活中。邱錫鵬教授在演講中介紹了ChatGPT的三個關(guān)鍵技術(shù):情景學(xué)習(xí),思維鏈和指令學(xué)習(xí)。他認為雖然ChatGPT本身還有很多不足,比如當前形式是語言模型、并不可控、和現(xiàn)實世界沒有關(guān)聯(lián)等,但是它為通用人工智能給出了清晰的研究發(fā)展方向,在此過程中非常重要的是保持模型的可信、有助、無害、誠實。
中國科學(xué)院自動化研究所研究員張家俊以ChatGPT中的提示與指令學(xué)習(xí)為題,從ChatGPT簡要技術(shù)回顧、邁向通用性的提示學(xué)習(xí)、從提示學(xué)習(xí)到指令學(xué)習(xí)、相關(guān)探索與學(xué)習(xí)等角度和在場聽眾展開技術(shù)分享。大模型主要有兩個方向,一個是“預(yù)訓(xùn)練+參數(shù)微調(diào)”,就是大模型有了之后針對下游任務(wù)進行微調(diào),然后得到一個面向下游任務(wù)的大的模型,二是“預(yù)訓(xùn)練+提示學(xué)習(xí)”,預(yù)訓(xùn)練之后不變,用提示學(xué)習(xí)激發(fā)大模型來完成特定的任務(wù)。相關(guān)實踐證明,學(xué)習(xí)提示對于模型性能提升非常有效,怎樣學(xué)到或者找到提示語非常關(guān)鍵。
CCF自然語言處理專委會秘書長、北大教授萬小軍就自然語言生成評價的若干問題展開分享。他認為評價是指引技術(shù)發(fā)展的燈塔,也可以作為模型優(yōu)化目標。當前業(yè)界NLG生成人工評價與自動評價在公平性、可重復(fù)性、低成本這些指標上都面臨一些問題。利用ChatGPT做NLG的自動評價,在實驗中很多指標上都高于以前模型的結(jié)果,也為自動評價帶來了好的可能性。
達觀數(shù)據(jù)董事長兼CEO、復(fù)旦大學(xué)計算機博士陳運文以探索大語言模型的垂直化訓(xùn)練技術(shù)和應(yīng)用為主題,細致分享了達觀數(shù)據(jù)在垂直領(lǐng)域的語言模型方面的工程化探索,包括:參數(shù)規(guī)模和數(shù)據(jù)規(guī)模的探索、垂直領(lǐng)域適應(yīng)預(yù)訓(xùn)練、微調(diào)技術(shù)探索、提示工程和垂直優(yōu)化、模型訓(xùn)練加速思路、模型功能的垂直效能增強等。他認為深化大模型在垂直領(lǐng)域的應(yīng)用,真正把大模型融入到企業(yè)的實際業(yè)務(wù)中,對于商業(yè)化和大語言模型研究都具有重要意義。達觀數(shù)據(jù)正在研發(fā)的垂直領(lǐng)域模型名叫“曹植”,引自曹植七步成詩的典故,希望它作為垂直、專用、國產(chǎn)的GPT模型,未來在各行各業(yè)里落地應(yīng)用,為每個行業(yè)賦能。
新浪新技術(shù)研發(fā)負責(zé)人、CIPS理事張俊林針對圍繞大語言模型“涌現(xiàn)能力”的部分質(zhì)疑展開解析。一個復(fù)雜系統(tǒng)是由很多微小個體構(gòu)成的,這些微小個體湊到一起,如果數(shù)量足夠多的時候,在宏觀層面上出現(xiàn)微觀個體無法解釋的特殊現(xiàn)象,這就是所謂的“涌現(xiàn)現(xiàn)象”。張俊林認為,基于當前研究進展,大規(guī)模語言模型的涌現(xiàn)能力確實存在,這也賦予我們對大模型的未來發(fā)展一個樂觀的預(yù)期。涌現(xiàn)能力的存在意味著只要不斷的推高大模型規(guī)模,到達某個階段后很多任務(wù)效果會得到突然提升。
在圓桌對話環(huán)節(jié),CAAI副監(jiān)事長、清華大學(xué)教授馬少平,瀾舟科技創(chuàng)始人兼CEO、中國計算機學(xué)會CCF副理事長周明,中國科學(xué)院自動化研究所研究員宗成慶,真格基金管理合伙人戴雨森,華為人工智能科學(xué)家、北京郵電大學(xué)博士楊浩,中國信通院云計算與大數(shù)據(jù)研究所人工智能部副主任曹峰圍繞“國產(chǎn)‘ChatGPT’和大模型研究現(xiàn)狀與未來發(fā)展”的主題展開了深度探討和交流,現(xiàn)場氛圍熱烈。
專家們在討論中對于“國產(chǎn)‘ChatGPT’和大模型的發(fā)展方向”達成共識:自然語言處理這一方向比起其他領(lǐng)域,跟海外先進企業(yè)的差距要小很多。要平視OpenAI而非神話它,我們面臨的是一個代溝,但不是跨越不了的鴻溝,在追趕到超越的過程中需要給國產(chǎn)模型一些時間。在技術(shù)與落地層面,與會專家們認為,ChatGPT帶動了自然語言處理整體上下游以及芯片的思考和發(fā)展,某種程度上大模型可能將成為下一代的基礎(chǔ)設(shè)施,中國需要有自己的基礎(chǔ)模型體系,來保證安全性、并發(fā)性、穩(wěn)定性等問題。投資界、學(xué)術(shù)界、產(chǎn)業(yè)界要沉住氣,遠離概念炒作,扎扎實實做出成績。