日前，兩家啟明創(chuàng)投投資企業(yè)無問芯穹與壁仞科技在千卡訓練集群領域取得技術新突破。基于壁仞科技GPU千卡訓練集群，結合無問芯穹大模型訓練引擎與壁仞科技SUPA軟件工具鏈，雙方協(xié)力實現了集群訓練性能快速優(yōu)化，成功在壁仞科技GPU集群上，將大語言模型（LLM）訓練效能提升近1倍。
無問芯穹大模型訓練引擎面向國產集群大規(guī)模并行訓練性能優(yōu)化的場景，以公有云平臺訓練鏡像的方式或私有化部署的模式提供服務，可大幅縮短訓練時長、提升集群利用率，該引擎支持主流模型結構，兼容多元硬件集群，具備遷移便利、優(yōu)化快速等優(yōu)勢。
目前，壁仞科技的千卡規(guī)模訓練集群已成功在無問芯穹Infini-AI異構云平臺（cloud.infini-ai.com）上納管和調度，實現并完整驗證了彈性容錯、異常節(jié)點探測、檢查點保存與加載、斷點續(xù)訓四大功能。
此外，壁仞科技的“壁礪106系列”和“壁礪110系列”GPU產品已完成與無問芯穹Infini-AI異構云平臺的全面接入。其中，壁仞科技最新發(fā)布的高性能、低功耗壁礪110E推理卡也已在Infini-AI異構云平臺的大模型服務平臺上線。官方數據顯示，在大模型推理服務方面，壁礪110E推理卡具有高性能、低功耗的優(yōu)秀特性，在同機架高度下，AI算力密度最高可達到市場主流云端PCIE8卡服務器方案的1.3倍以上，能耗節(jié)省達70%，可顯著降低整體系統(tǒng)的總擁有成本（Total Cost of Ownership, TCO）。
無問芯穹大模型服務平臺基于異構推理加速，為大模型應用開發(fā)者提供數據處理、微調、推理等快速便捷的模型調用API，現已上架包括CogVideoX 2B、Llama 3.1 70B、Qwen2 72B、GLM4 9B、Stable Diffusion在內的多種大語言模型、文生圖及文生視頻模型。當前，通過無問芯穹大模型服務平臺調用各種開放API的同時，也已可調用壁礪110E推理卡，支持各種大語言模型、多模態(tài)模型的云上推理，為商業(yè)級用戶業(yè)務提供充沛的算力支撐。
憑借長期在多元異構算力激活以及軟硬件聯(lián)合優(yōu)化等方面的專業(yè)深耕，無問芯穹打造了連接“M種模型”和“N種芯片”的“M×N”AI基礎設施新范式，已實現多種大模型算法在多元芯片上的高效協(xié)同部署，在國產算力集群效能提升技術上積累了顯著優(yōu)勢。2024年3月，無問芯穹首次發(fā)布了能夠支持多種模型在多種芯片上高效推理的異構云平臺Infini-AI。今年7月，無問芯穹Infini-AI異構云平臺又成為了全球首個支持單任務千卡規(guī)模異構芯片混合訓練的平臺，具備萬卡擴展性，支持包括AMD、華為昇騰、天數智芯、沐曦、摩爾線程、NVIDIA六種芯片在內的大模型混訓，可一鍵發(fā)起700億參數大模型訓練。
此次無問芯穹與壁仞科技在壁仞千卡訓練集群上聯(lián)合攻關，取得了近1倍的效能提升，是國產算力生態(tài)共建進程中的一座重要里程碑。未來，無問芯穹將與壁仞科技繼續(xù)攜手，在大規(guī)模自主可控智能算力集群優(yōu)化與運營等方面深化合作，進一步提升面向商業(yè)化算力客戶場景的聯(lián)合服務能力。
