近日，阿里團(tuán)隊(duì)宣布了一項(xiàng)重大創(chuàng)新成果——全新AI視頻生成框架Tora的正式推出。該框架集成了文本、視覺及軌跡條件，通過其獨(dú)特的軌跡導(dǎo)向擴(kuò)散變換器（DiT）技術(shù)，實(shí)現(xiàn)了對視頻內(nèi)容的精準(zhǔn)控制與生成，為電影特效、虛擬現(xiàn)實(shí)等領(lǐng)域帶來了前所未有的創(chuàng)作自由與可能性。
Tora框架的核心設(shè)計(jì)圍繞著三個(gè)關(guān)鍵組件展開：軌跡提取器（TE）、時(shí)空DiT模塊以及運(yùn)動引導(dǎo)融合器（MGF）。TE利用先進(jìn)的3D視頻壓縮網(wǎng)絡(luò)技術(shù)，將任意輸入的軌跡信息高效編碼為分層時(shí)空運(yùn)動補(bǔ)丁，為后續(xù)的視頻生成奠定堅(jiān)實(shí)基礎(chǔ)。而MGF則巧妙地將這些運(yùn)動補(bǔ)丁與DiT模塊相結(jié)合，確保生成的視頻能夠嚴(yán)格遵循預(yù)設(shè)的軌跡，呈現(xiàn)出高度連貫且自然的運(yùn)動效果。
尤為值得一提的是，Tora框架支持制作長達(dá)204幀、720P分辨率的高清視頻，同時(shí)允許用戶精確控制視頻的持續(xù)時(shí)間、寬高比及分辨率，滿足了多樣化的創(chuàng)作需求。通過大量實(shí)驗(yàn)驗(yàn)證，Tora在保持高運(yùn)動保真度的同時(shí)，還能細(xì)致入微地模擬物理世界的運(yùn)動規(guī)律，為觀眾帶來更加逼真、沉浸的視覺體驗(yàn)。
阿里團(tuán)隊(duì)將Tora形象地比喻為“神筆馬良版”的視頻生成工具，寓意著用戶只需簡單“畫圈”便能操控物體的運(yùn)動軌跡，輕松實(shí)現(xiàn)復(fù)雜而精妙的視頻創(chuàng)作。這一設(shè)計(jì)理念不僅極大地降低了視頻制作的門檻，更為電影特效師、廣告制作人以及虛擬現(xiàn)實(shí)開發(fā)者等專業(yè)人士提供了前所未有的創(chuàng)作工具，將極大地推動相關(guān)行業(yè)的創(chuàng)新發(fā)展。
隨著Tora框架的正式發(fā)布，阿里團(tuán)隊(duì)再次展示了其在人工智能領(lǐng)域的深厚積累與創(chuàng)新能力。未來，隨著技術(shù)的不斷迭代與升級，我們有理由相信Tora將為全球的視頻創(chuàng)作與傳播領(lǐng)域帶來更多驚喜與變革。
原創(chuàng)文章，作者：AI，如若轉(zhuǎn)載，請注明出處：http://leeannwhittemore.com/article/672130.html
