以下文章來源于中國新聞網 ，作者記者 陳溯
4月27日，在中關村論壇未來人工智能先鋒論壇上，啟明創(chuàng)投投資企業(yè)生數(shù)科技聯(lián)合清華大學正式發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型——Vidu。該模型采用團隊原創(chuàng)的Diffusion與Transformer融合的架構U-ViT，支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內容。Vidu不僅能夠模擬真實物理世界，還擁有豐富想象力，具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型，性能全面對標國際頂尖水平，并在加速迭代提升中。
01/
多維度模擬真實世界
全面對標Sora
與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長達16秒的高質量視頻。除了在時長方面的突破外，Vidu在視頻效果方面實現(xiàn)顯著提升，主要體現(xiàn)在幾個方面：
模擬真實物理世界：能夠生成細節(jié)復雜的場景，且符合真實的物理規(guī)律，例如合理的光影效果、細膩的人物表情等；
具有豐富想象力：能夠生成真實世界不存在的虛構畫面，創(chuàng)造出具有深度和復雜性的超現(xiàn)實主義內容；
多鏡頭語言：能夠生成復雜的動態(tài)鏡頭，不再局限于簡單的推、拉、移等固定鏡頭，而是能夠圍繞統(tǒng)一主體在一段畫面里就實現(xiàn)遠景、近景、中景、特寫等不同鏡頭的切換，包括能直接生成長鏡頭、追焦、轉場等效果，給視頻注入鏡頭語言；
時空一致性高：在16秒的時長上保持連貫流暢，隨著鏡頭的移動，人物和場景在時間、空間中能夠保持一致；
理解中國元素：能夠生成特有的中國元素，例如熊貓、龍等。
值得一提的是，短片中的片段都是從頭到尾連續(xù)生成，沒有明顯的插幀現(xiàn)象（注：插幀主要是通過在視頻的每兩幀畫面中增加一幀或多幀來提升視頻的長度或流暢度。這種方法需要對視頻進行逐幀處理，通過插入額外的幀來改善視頻長度和質量，是一個分步驟的過程。但Vidu與Sora則是通過單一步驟直接生成高質量的視頻，無需經過多個步驟的關鍵幀生成和插幀處理），從這種“一鏡到底”的表現(xiàn)能夠推測出，Vidu采用的是“一步到位”的生成方式，與Sora一樣，文本到視頻的轉換是直接且連續(xù)的，在底層算法實現(xiàn)上是基于單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。
02/
早于Sora提出全球首個U-ViT融合架構
Vidu的快速突破源自于團隊在貝葉斯機器學習和多模態(tài)大模型的長期積累和多項原創(chuàng)性成果。其核心技術U-ViT架構由團隊于2022年9月提出，早于Sora采用的DiT架構，是全球首個Diffusion與Transformer融合的架構，完全由團隊自主研發(fā)。
2023年3月，團隊開源全球首個基于U-ViT架構的多模態(tài)擴散大模型UniDiffuser，在全球范圍內率先完成融合架構的大規(guī)?？蓴U展性（Scaling Law）驗證。UniDiffuser是在大規(guī)模圖文數(shù)據(jù)集LAION-5B上訓練出的近10億參數(shù)量模型，支持圖文模態(tài)間的任意生成和轉換。在架構上，UniDiffuser比同樣DiT架構的Stable Diffusion 3領先了一年。
自今年2月Sora發(fā)布推出后，團隊基于對U-ViT架構的深入理解以及長期積累的工程與數(shù)據(jù)經驗，在短短兩個月進一步突破長視頻表示與處理關鍵技術，研發(fā)推出Vidu視頻大模型，顯著提升視頻的連貫性與動態(tài)性。
從圖文任務的統(tǒng)一到融合視頻能力，作為通用視覺模型，Vidu能夠支持生成更加多樣化、更長時長的視頻內容，同時面向未來，靈活架構也將能夠兼容更廣泛的模態(tài)，進一步拓展多模態(tài)通用能力的邊界。
Vidu的問世，不僅是U-ViT融合架構在大規(guī)模視覺任務中的又一次成功驗證，也代表了生數(shù)科技在多模態(tài)原生大模型領域的持續(xù)創(chuàng)新能力和領先性。同時生數(shù)科技表示，大模型的突破是一個多維度、跨領域的綜合性過程，需要技術與產業(yè)應用的深度融合。因此在發(fā)布之際，生數(shù)科技正式推出“Vidu大模型合作伙伴計劃”，誠邀產業(yè)鏈上下游企業(yè)、研究機構加入，共同構建合作生態(tài)。
請復制下方網址在瀏覽器打開，獲取“Vidu大模型合作伙伴計劃”申請信息。
申請鏈接：
https://shengshu.feishu.cn/share/base/form/shrcnybSDE4Id1JnA5EQ0scv1Ph
