以下文章來(lái)源于讓科學(xué)負(fù)責(zé)任 ，作者澎湃科技
編者按：據(jù)新華社近日?qǐng)?bào)道，美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI的大型預(yù)訓(xùn)練人工智能語(yǔ)言模型ChatGPT在推出約兩個(gè)月后，已達(dá)到1億月活躍用戶(hù)，成為歷史上增長(zhǎng)最快的消費(fèi)者應(yīng)用程序。ChatGPT大熱背后亦彰顯了人機(jī)協(xié)同創(chuàng)新的潛力。啟明創(chuàng)投投資企業(yè)銜遠(yuǎn)科技將大規(guī)模預(yù)訓(xùn)練模型與人機(jī)協(xié)同式交互智能應(yīng)用于產(chǎn)業(yè)，利用多模態(tài)的表征和推理技術(shù)幫助企業(yè)快速定位以消費(fèi)者為中心的高潛機(jī)會(huì)賽道和產(chǎn)品創(chuàng)新機(jī)會(huì)點(diǎn)。
日前，銜遠(yuǎn)科技創(chuàng)始人、清華大學(xué)惠妍講席教授、清華大學(xué)電子工程系長(zhǎng)聘教授周伯文在接受澎湃科技采訪時(shí)指出，ChatGPT的核心進(jìn)展是AI與人的協(xié)同和交互學(xué)習(xí)能力提升，并進(jìn)一步分析在生產(chǎn)力場(chǎng)景下這種交互范式的重要意義。啟明創(chuàng)投微信公眾號(hào)經(jīng)授權(quán)轉(zhuǎn)載。
銜遠(yuǎn)科技創(chuàng)始人、清華大學(xué)惠妍講席教授、清華大學(xué)電子工程系長(zhǎng)聘教授周伯文
聊天機(jī)器人ChatGPT最近很熱鬧。脫離ChatGPT的聊天對(duì)話框，背后的本質(zhì)是人機(jī)交互范式和底層AI能力的改變。從過(guò)去的圍棋人工智能程序AlphaGo，到如今的聊天機(jī)器人ChatGPT，人工智能的發(fā)展趨勢(shì)是聚焦提升AI系統(tǒng)的協(xié)同與交互智能能力。
周伯文對(duì)澎湃科技表示，ChatGPT的核心能力是通過(guò)協(xié)同交互完成任務(wù)。實(shí)際上，ChatGPT產(chǎn)品的對(duì)話框只是一個(gè)表象，本質(zhì)是實(shí)時(shí)融合人的能力的協(xié)同交互智能，極大促進(jìn)人機(jī)共創(chuàng)。在生產(chǎn)力場(chǎng)景下，這種交互范式可以改變行業(yè)。
周伯文擁有豐富的前沿研究經(jīng)歷與業(yè)界經(jīng)驗(yàn)，他曾任IBM Research人工智能基礎(chǔ)研究院院長(zhǎng)、IBM Watson Group首席科學(xué)家、IBM杰出工程師、京東集團(tuán)高級(jí)副總裁、集團(tuán)技術(shù)委員會(huì)主席、云與AI總裁，2022年從工業(yè)界回到學(xué)術(shù)圈。其研究領(lǐng)域包括語(yǔ)音和自然語(yǔ)言處理、多模態(tài)與知識(shí)表征、理解、生成、推理、人機(jī)對(duì)話、可信賴(lài)AI等。他提出的自注意力融合多頭機(jī)制的自然語(yǔ)言表征機(jī)理后來(lái)成為T(mén)ransformer架構(gòu)的核心思想之一，他還提出了AIGC領(lǐng)域的兩個(gè)自然語(yǔ)言生成模型架構(gòu)與算法。
01/
ChatGPT提供了“系統(tǒng)1”和
“系統(tǒng)2”聯(lián)合共創(chuàng)的可能
2002年諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主丹尼爾·卡尼曼的一本暢銷(xiāo)書(shū)《思考，快與慢》（Thinking Fast And Slow）提出了人的思考方式有兩類(lèi)：“系統(tǒng)1”和“系統(tǒng)2”。“系統(tǒng)1”的特點(diǎn)是基于直覺(jué)和經(jīng)驗(yàn)判斷，快速、不需要大量計(jì)算，“系統(tǒng)2”的特點(diǎn)是有語(yǔ)言、算法、計(jì)算、邏輯。
以人腦活動(dòng)為例，國(guó)際象棋大師下車(chē)輪棋是“系統(tǒng)1”形式，他們并非仔細(xì)計(jì)算走哪步，而是憑借幾萬(wàn)小時(shí)的訓(xùn)練和記憶力，從棋盤(pán)格局通過(guò)模式識(shí)別判斷落子位置，這是通過(guò)直覺(jué)和記憶的低認(rèn)知負(fù)擔(dān)的決策。“系統(tǒng)2”的典型案例就是高考數(shù)學(xué)，哪怕是圖靈獎(jiǎng)得主或菲爾茲獎(jiǎng)得主也不可能瞄一眼題目就能把考卷做出滿分，而是必須認(rèn)真讀題、計(jì)算、推理認(rèn)證、得出結(jié)果，這需要調(diào)動(dòng)知識(shí)、計(jì)算、邏輯與檢驗(yàn)，是一個(gè)高認(rèn)知負(fù)荷的腦力推導(dǎo)的過(guò)程。
從人工智能發(fā)展的進(jìn)程來(lái)看，最初，人們認(rèn)為AI更適合做“系統(tǒng)1”的工作，比如人臉識(shí)別、質(zhì)檢就是基于“系統(tǒng)1”的模式識(shí)別，“前段時(shí)間深度學(xué)習(xí)熱下的產(chǎn)業(yè)落地很多人聚焦在這個(gè)方向，但很快就證明這個(gè)方向的價(jià)值天花板不高?！敝懿谋硎荆?strong>從過(guò)去的AlphaGo，到如今的ChatGPT，AI在技術(shù)發(fā)展下會(huì)越來(lái)越擅長(zhǎng)“系統(tǒng)2”任務(wù)，并且能力增長(zhǎng)的速度會(huì)超過(guò)我們?cè)瓉?lái)的預(yù)期。不得不承認(rèn)，人類(lèi)單獨(dú)做“系統(tǒng)2”的工作，從長(zhǎng)遠(yuǎn)來(lái)看，學(xué)習(xí)的效率、深度、廣度都不如AI，而需要去充分發(fā)揮AI的潛力。
AI的更多高價(jià)值場(chǎng)景在于“系統(tǒng)2”。因此，在以人為中心、人類(lèi)更多承擔(dān)“系統(tǒng)1”任務(wù)并負(fù)責(zé)最終決策、AI系統(tǒng)更多承擔(dān)“系統(tǒng)2”任務(wù)的繁瑣推導(dǎo)背景下，人和AI如何更好地協(xié)同和交互？“系統(tǒng)1”和“系統(tǒng)2”如何合作？如何持續(xù)提升AI系統(tǒng)的協(xié)同與交互智能能力？周伯文表示，讓AI通過(guò)交互學(xué)習(xí)更好理解人的意圖與判斷、大量獲取相關(guān)信息與數(shù)據(jù)并做復(fù)雜推理，為人呈現(xiàn)推理過(guò)程與決策選項(xiàng)，通過(guò)這些協(xié)同交互幫助人更擅長(zhǎng)做決策、做更好的決策，這是未來(lái)人工智能發(fā)展的重要方向。
人可以借助AI更快發(fā)現(xiàn)新知識(shí)，洞察深度和廣度，并完成任務(wù)。新知識(shí)的發(fā)現(xiàn)幫助人類(lèi)設(shè)計(jì)出更好的AI，比如對(duì)腦科學(xué)的發(fā)現(xiàn)，計(jì)算優(yōu)化的發(fā)現(xiàn)。人類(lèi)發(fā)現(xiàn)更好的人工智能，更好的人工智能發(fā)現(xiàn)更多新知識(shí)，如此形成回路，一個(gè)創(chuàng)造新知識(shí)的飛輪就出現(xiàn)了。
《自然》1月的封面文章提到，過(guò)去幾十年來(lái)，全世界論文和專(zhuān)利數(shù)量大幅增加，但突破性創(chuàng)新越來(lái)越少。周伯文認(rèn)為，原因之一在于，學(xué)科經(jīng)過(guò)多年高速發(fā)展后形成了信息繭房。信息繭房?jī)?nèi)部，信息過(guò)載。每個(gè)人需要學(xué)習(xí)很多知識(shí)才能理解一個(gè)很小的子領(lǐng)域，沒(méi)有突破性進(jìn)展也就意味著學(xué)習(xí)新知識(shí)的同時(shí)也必須學(xué)習(xí)舊知識(shí)，學(xué)習(xí)成本越來(lái)越高。繭房與繭房之間，信息壁壘過(guò)高。由于信息過(guò)載與壁壘高企，純粹靠科學(xué)家本人跨領(lǐng)域交叉難度越來(lái)越高，因此導(dǎo)致突破性進(jìn)展也越來(lái)越少。
ChatGPT提供了一種“系統(tǒng)1”和“系統(tǒng)2”聯(lián)合共創(chuàng)的可能，人與AI通過(guò)協(xié)同交互完成任務(wù)。在這個(gè)邏輯下，就像人類(lèi)和ChatGPT的交互一樣，如果將“系統(tǒng)1”和“系統(tǒng)2”結(jié)合起來(lái)，就能更高效打破信息繭房，在繭房?jī)?nèi)，人類(lèi)能更快速學(xué)習(xí)、洞察，不同學(xué)科之間可以更好創(chuàng)造交叉知識(shí)。
實(shí)際上，ChatGPT產(chǎn)品只是一個(gè)表象，脫離ChatGPT的聊天對(duì)話框，這是人機(jī)交互范式和底層AI能力的改變，在生產(chǎn)力場(chǎng)景下，這種交互范式可以改變行業(yè)。
周伯文表示，ChatGPT的核心進(jìn)展是AI與人的協(xié)同和交互學(xué)習(xí)能力提升，而不僅僅是模型變大。這對(duì)產(chǎn)品創(chuàng)新、人機(jī)協(xié)同創(chuàng)新、知識(shí)發(fā)現(xiàn)意義尤其巨大。基于這樣的預(yù)見(jiàn)，他在2021年底創(chuàng)立了銜遠(yuǎn)科技，利用多模態(tài)的表征和推理技術(shù)幫助企業(yè)快速定位以消費(fèi)者為中心的高潛機(jī)會(huì)賽道和產(chǎn)品創(chuàng)新機(jī)會(huì)點(diǎn)。
02/
交互是學(xué)習(xí)手段
人的反饋價(jià)值遠(yuǎn)超模型參數(shù)
一直以來(lái)，對(duì)話式AI存在三大局限，包括AI系統(tǒng)缺乏常識(shí)，缺乏對(duì)世界的認(rèn)知模型和對(duì)演繹機(jī)理的理解；對(duì)話式AI缺乏實(shí)時(shí)的推理歸納和學(xué)習(xí)能力；此外，對(duì)話式AI缺乏駕馭對(duì)話的能力。ChatGPT出現(xiàn)后，這三大局限仍然存在，比如ChatGPT缺乏對(duì)話策略能力，不會(huì)主動(dòng)尋求信息、反問(wèn)人類(lèi)。
但ChatGPT帶來(lái)了兩個(gè)新進(jìn)展。第一，交互是一種學(xué)習(xí)手段而不僅僅是應(yīng)用。過(guò)去，人工智能客服只是機(jī)械式回答問(wèn)題，聽(tīng)不懂人的意圖反饋，它的目的是完成任務(wù)而非學(xué)習(xí)?！癈hatGPT能在很長(zhǎng)的對(duì)話里，把上下文問(wèn)到的問(wèn)題、表達(dá)、糾正變成一種學(xué)習(xí)輸入，幫助它更好地回答問(wèn)題、意識(shí)到自己的錯(cuò)誤、修正自己的答案?！?strong>這恰好證明了周伯文提出的協(xié)同與交互的重要性，人的反饋幫助ChatGPT在大模型中迅速定位知識(shí)，甚至反其道而行，選擇一個(gè)概率更低的回答。
第二，在大模型訓(xùn)練中，當(dāng)模型參數(shù)達(dá)到一定規(guī)模，人的反饋價(jià)值遠(yuǎn)遠(yuǎn)超過(guò)模型參數(shù)和計(jì)算量的價(jià)值。ChatGPT出現(xiàn)前，業(yè)界普遍認(rèn)為，模型參數(shù)規(guī)模和計(jì)算量非常重要。不斷喂數(shù)據(jù)，增加模型參數(shù)和迭代次數(shù)，模型效果就越好。但更多的數(shù)據(jù)意味著更多的計(jì)算量和能源消耗。ChatGPT的出現(xiàn)證明，人的反饋同樣可以迅速提升模型的能力。
OpenAI在發(fā)布ChatGPT之前，對(duì)比過(guò)1750億參數(shù)的GPT-3模型和13億參數(shù)的InstructGPT模型。如果要求AI為一個(gè)6歲的小孩解釋登月，以GPT-3的基礎(chǔ)模型能力可以有各種角度回答這個(gè)問(wèn)題，包括基于物理原理的萬(wàn)有引力，基于歷史背景的美蘇冷戰(zhàn)促進(jìn)登月，基于天文學(xué)角度的地月關(guān)系，也可以基于人類(lèi)的關(guān)于月亮的神話傳說(shuō)與樸素愿望。“找到這些信息并不難，難的是GPT-3不知道哪個(gè)答案更適合。常規(guī)模式是按照出現(xiàn)概率排序?！钡獻(xiàn)nstructGPT在這個(gè)基礎(chǔ)上讓用戶(hù)對(duì)四類(lèi)答案進(jìn)行選擇、打分，給出排序后，這些反饋可用于微調(diào)GPT-3模型，將GPT-3與人類(lèi)的意圖和評(píng)價(jià)體系進(jìn)行對(duì)齊，進(jìn)而改變模型參數(shù)和推理結(jié)果。
“在這些與人的交互協(xié)同后，如果再要求ChatGPT為6歲孩子寫(xiě)童話，它就會(huì)自己學(xué)會(huì)以once upon a time（很久以前）來(lái)開(kāi)頭，因?yàn)樗J(rèn)識(shí)到6歲的小孩有獨(dú)特的需求。這也是大家開(kāi)始開(kāi)玩笑說(shuō)ChatGPT有情商的原因。”周伯文表示，它通過(guò)人的反饋調(diào)整模型內(nèi)部隱式知識(shí)對(duì)應(yīng)的參數(shù)，同時(shí)將人的思考與價(jià)值判斷嵌入到系統(tǒng)，這也印證了交互是一種學(xué)習(xí)手段而不僅僅是應(yīng)用。
1956年夏天，美國(guó)達(dá)特茅斯學(xué)院舉行了歷史上第一次人工智能研討會(huì)，這被認(rèn)為是人工智能誕生的標(biāo)志。此后，人工智能的發(fā)展經(jīng)歷了“三起三落”。到如今，人工智能逐漸開(kāi)始往“大一統(tǒng)”方向發(fā)展，周伯文表示，越來(lái)越多的任務(wù)會(huì)運(yùn)用大規(guī)模預(yù)訓(xùn)練生成式模型，足夠多的數(shù)據(jù)可以訓(xùn)練一個(gè)足夠強(qiáng)的通用模型。但當(dāng)前對(duì)知識(shí)的定位、編輯、可信度，以及對(duì)知識(shí)的矛盾處理和檢測(cè)仍然不足，當(dāng)越來(lái)越多的知識(shí)匯入大模型，大模型如何與知識(shí)更好融合是一個(gè)重點(diǎn)研究方向。
在“系統(tǒng)1”和“系統(tǒng)2”背景下，AI如何更好適應(yīng)人類(lèi)并持續(xù)學(xué)習(xí)是另一個(gè)研究重點(diǎn)。以ChatGPT為例，人類(lèi)的反饋?zhàn)孋hatGPT只在推理時(shí)糾正當(dāng)下的對(duì)話，但這些糾正沒(méi)有融合到大模型中。“云端里的大模型是固定的。邊緣端有百萬(wàn)終端搜集信息，這些小模型不斷跟人迭代交互，學(xué)到了新知識(shí)，這些新知識(shí)如何有效傳到云端，改變?cè)贫舜竽Ｐ?，目前還是研究空白?！?/strong>
換句話說(shuō)，就是要用小模型與人交互學(xué)習(xí)，進(jìn)而將知識(shí)傳遞給云端大模型進(jìn)行迭代。這種“協(xié)同交互智能”帶來(lái)的一個(gè)好處是低成本迭代，“不需要每訓(xùn)練一次就花500萬(wàn)美元?！?/span>
來(lái)源 | 澎湃科技
作者 | 張靜
