編者按：日前，清華大學(xué)電子工程系教授、系主任，啟明創(chuàng)投投資企業(yè)無問芯穹發(fā)起人汪玉教授在首屆魔搭開發(fā)者大會(huì)發(fā)表主旨演講。他分析了當(dāng)下端側(cè)大模型發(fā)展面臨的核心矛盾，并提出了涉及模型層面、軟件層面及硬件層面的軟硬協(xié)同破局路徑。圍繞行業(yè)發(fā)展趨勢(shì)，他指出，邊緣設(shè)備將不再僅僅依賴云端進(jìn)行推理，能夠獨(dú)立完成更為復(fù)雜的任務(wù)，從而為具身智能、自動(dòng)駕駛等場(chǎng)景提供更高效的解決方案。汪玉教授也分享了未來智能的方向以及構(gòu)建下一代智能數(shù)據(jù)基礎(chǔ)設(shè)施需要聚焦的兩大路徑。
啟明創(chuàng)投微信公眾號(hào)經(jīng)授權(quán)轉(zhuǎn)載。
清華大學(xué)電子工程系教授、系主任，無問芯穹發(fā)起人汪玉教授
日前，首屆魔搭開發(fā)者大會(huì)在北京開幕，本次大會(huì)以“模力引領(lǐng)躍遷，開源驅(qū)動(dòng)創(chuàng)新”為核心主題，匯聚了來自全球頂尖高校、科研機(jī)構(gòu)及科技企業(yè)的千余名代表。清華大學(xué)電子工程系教授、系主任，啟明創(chuàng)投投資企業(yè)無問芯穹發(fā)起人汪玉教授受邀出席大會(huì)，并發(fā)表《邊端智能的下一站：硬件創(chuàng)新與端側(cè)AI的技術(shù)突破與挑戰(zhàn)》主旨演講。演講以軟硬協(xié)同為核心方法論，具身智能為未來錨點(diǎn)，聚焦大模型在端側(cè)部署的挑戰(zhàn)與解決方案，系統(tǒng)性地呈現(xiàn)了端側(cè)AI從挑戰(zhàn)到技術(shù)突破的全景。
汪玉教授從AI 2.0時(shí)代端側(cè)智能的快速發(fā)展切入，指出當(dāng)下端側(cè)大模型發(fā)展面臨著核心矛盾：云端大模型尺寸的持續(xù)擴(kuò)大與終端有限算力形成巨大鴻溝。與此同時(shí)，傳統(tǒng)芯片工藝面臨物理極限，硬件發(fā)展的速度遠(yuǎn)遠(yuǎn)跟不上模型變大的程度，亟需系統(tǒng)性破局方案。
據(jù)此，汪玉教授提出軟硬協(xié)同破局路徑。在模型層面，通過整合算力、數(shù)據(jù)及開發(fā)者社區(qū)資源，構(gòu)建高效小模型。如無問芯穹與魔搭社區(qū)聯(lián)合推出的端側(cè)全模態(tài)大模型Megrez-3B-Omni，在研發(fā)過程深度融合軟硬件協(xié)同優(yōu)化，實(shí)現(xiàn)了推理速度與精度的優(yōu)異平衡，且在圖文音多模態(tài)任務(wù)中均實(shí)現(xiàn)當(dāng)時(shí)行業(yè)的最佳推理性能。在軟件層面，需要開發(fā)面向通用場(chǎng)景的推理優(yōu)化軟件。以無問芯穹Mizar智能終端加速推理引擎為例，該引擎是面向PC、算力盒子等智能終端打造的自主可控大模型軟硬件適配平臺(tái)，實(shí)現(xiàn)了多種應(yīng)用場(chǎng)景下推理速度的大幅提升以及功耗和內(nèi)存占用的顯著降低，將AI能力真正轉(zhuǎn)化為終端設(shè)備的內(nèi)生基因。在硬件層面，則需依托定制化加速器及新器件/新計(jì)算范式，突破傳統(tǒng)架構(gòu)限制以顯著提升能效與處理速度。如無問芯穹自研的大模型專用推理處理器LPU IP，支持文生文、文生圖、文生視頻等多模態(tài)大模型，可支持3D堆疊DRAM，在低端工藝/低算力FPGA上，實(shí)現(xiàn)算力和能效超越高端工藝/高算力GPU。通過“算法-軟件-架構(gòu)-工藝”協(xié)同優(yōu)化，大幅領(lǐng)先國內(nèi)外主流芯片，實(shí)現(xiàn)端側(cè)大模型性能和能效大幅提升。
汪玉教授表示，AI 2.0時(shí)代，模型的知識(shí)密度將不斷提升，通過預(yù)訓(xùn)練小模型和輕量化技術(shù)，構(gòu)建出4o/o1能力的端側(cè)小模型，模型尺寸可縮減至3-13B，適應(yīng)端側(cè)設(shè)備的硬件資源限制。對(duì)于泛端側(cè)應(yīng)用場(chǎng)景的大模型推理，未來的推理需求將超過100tokens/s，以滿足實(shí)時(shí)應(yīng)用的需求。這一發(fā)展趨勢(shì)預(yù)示著邊緣設(shè)備將不再僅僅依賴云端進(jìn)行推理，能夠獨(dú)立完成更為復(fù)雜的任務(wù)，從而為具身智能、自動(dòng)駕駛等場(chǎng)景提供更高效的解決方案。
展望未來，汪玉教授認(rèn)為未來智能的方向可能是具身智能和群體智能。具身智能通過在實(shí)際系統(tǒng)中部署運(yùn)行并實(shí)現(xiàn)環(huán)境交互，將決策能力轉(zhuǎn)化為現(xiàn)實(shí)生產(chǎn)力；群體智能則通過協(xié)同拓展感知、決策與執(zhí)行空間，全面提升系統(tǒng)能力。因此，構(gòu)建下一代智能數(shù)據(jù)基礎(chǔ)設(shè)施需聚焦兩大路徑：一是優(yōu)化算力基礎(chǔ)設(shè)施，讓大家都有算力可用，支撐研究和工業(yè)的發(fā)展；二是建立數(shù)據(jù)基礎(chǔ)設(shè)施及配套硬件，支撐未來的具身智能發(fā)展?！斑叾酥悄艿奈磥硇枰獙W(xué)術(shù)界與產(chǎn)業(yè)界的雙向奔赴，”汪玉教授強(qiáng)調(diào)，“只有當(dāng)硬件創(chuàng)新與算法突破形成閉環(huán)，才能真正釋放AI改變物理世界的潛力?！?/strong>
