編者按:隨著人工智能(AI)的不斷發(fā)展,我們相信它將成為推動(dòng)3D打印技術(shù)進(jìn)步的強(qiáng)大力量。目前,很多團(tuán)隊(duì)正在將AI與3D打印深度融合,利用AI的計(jì)算和數(shù)據(jù)分析能力,優(yōu)化3D打印的設(shè)計(jì)和制造過程,開拓更多應(yīng)用領(lǐng)域和商業(yè)機(jī)會(huì)。今天,我們邀請(qǐng)到了魔芯科技創(chuàng)始人陳天潤(rùn)來分享他在該領(lǐng)域的成功經(jīng)驗(yàn)和思考。
隨著高速、多色打印技術(shù)的逐步興起,消費(fèi)級(jí)3D打印機(jī)在近兩年取得了突破性進(jìn)展。然而,使用場(chǎng)景受限、學(xué)習(xí)曲線過長(zhǎng)以及缺乏爆款3D模型成為打開家用3D打印機(jī)的市場(chǎng)下一個(gè)問題點(diǎn)。如何才能實(shí)現(xiàn)只需輕點(diǎn)幾下鼠標(biāo),就能將腦海中的創(chuàng)意和設(shè)計(jì),瞬間轉(zhuǎn)化為手中的實(shí)體模型?——這一過去難以實(shí)現(xiàn)的愿景,我看到了可能。
作為3D計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的研究者,并師從3D智能設(shè)計(jì)領(lǐng)域的資深專家,我在過去幾年中參與了多項(xiàng)AI輔助3D建模和3D模型處理的科研工作,也見證了AI 3D建模技術(shù)的快速發(fā)展。同樣,作為一名3D打印機(jī)的骨灰級(jí)愛好者,我有幸?guī)ьI(lǐng)魔芯科技團(tuán)隊(duì)將這些技術(shù)應(yīng)用于消費(fèi)級(jí)3D打印機(jī)的產(chǎn)品,通過多年的研究,我們找到了一種兼顧效率和質(zhì)量的解決方案,讓更多人有機(jī)會(huì)參與到3D打印的賽道。
陳天潤(rùn)及其團(tuán)隊(duì)開發(fā)的從圖片、草圖或文本輸入生成3D模型的算法,目前已經(jīng)落地商用。
01
學(xué)術(shù)成果到產(chǎn)業(yè)落地,距離在哪?
今年6月,我在西雅圖參加了全球計(jì)算機(jī)視覺界最具影響力的學(xué)術(shù)會(huì)議之一的CVPR2024。隨著AI的飛速發(fā)展,原本小眾的學(xué)術(shù)會(huì)議今年涌入了超1.2萬來自全世界的學(xué)術(shù)界的研究人員。其中,在3D生成領(lǐng)域,頭部玩家Adobe、英偉達(dá)等企業(yè),包括各大高校展示了他們的3D AIGC算法——漂亮的demo,精美的圖表,腦洞大開的生成結(jié)果,很容易讓人有種錯(cuò)覺——仿佛距離3D AIGC的行業(yè)落地近在咫尺。
事實(shí)上,這些漂亮的生成結(jié)果是過去的研究人員難以想象的。早在上世紀(jì)末,國(guó)內(nèi)研究人員就開始探索使用計(jì)算機(jī)自動(dòng)設(shè)計(jì)3D內(nèi)容,我的導(dǎo)師潘云鶴等人提出的CAD知識(shí)工程方法中的專家系統(tǒng)AUTOCHAIR(下圖)便是代表之一。那個(gè)時(shí)代的智能內(nèi)容生成高度依賴人類設(shè)定的規(guī)則和專家知識(shí),只能生成有限類別的設(shè)計(jì)。而現(xiàn)在,AI大模型已經(jīng)可以利用大量2D/3D數(shù)據(jù)創(chuàng)造出各式各樣的創(chuàng)意內(nèi)容,這很大程度上得益于2D圖片生成的突破性進(jìn)展(如Stable Diffusion)。當(dāng)研究人員發(fā)現(xiàn)通過大量圖片訓(xùn)練能夠讓生成模型學(xué)會(huì)生成高質(zhì)量的2D內(nèi)容時(shí),他們努力將這些知識(shí)用于3D內(nèi)容生成,例如谷歌的DreamFusion就是其中的代表性工作。
圖:3D建模系統(tǒng)的古今。左圖源潘云鶴著《智能 CAD 方法與模型》(1997年出版)改編,右圖來自KOKONI的3D大模型生成的結(jié)果(2024年)
然而,即使現(xiàn)在的3D AI生成算法能夠生成大量不同的3D內(nèi)容,但實(shí)際落地的公司寥寥無幾,尤其在消費(fèi)級(jí)3D打印領(lǐng)域更為少見。這背后的原因在于主流3D生成算法與實(shí)際客戶需求仍存在較大的偏差。我們研究發(fā)現(xiàn),幾何質(zhì)量和可控生成是目前相關(guān)算法遇到的顯著挑戰(zhàn)。
首先,當(dāng)前大多3D AIGC方法的生成的幾何質(zhì)量很難令人滿意。在3D AIGC領(lǐng)域,很多研究關(guān)注的是三維渲染,例如在游戲或影視領(lǐng)域的應(yīng)用,這些領(lǐng)域中良好的可視化結(jié)果非常關(guān)鍵。然而,我們?cè)谘芯恐邪l(fā)現(xiàn),3D打印更關(guān)心的反而是幾何形狀——幾何形狀的缺陷可以通過渲染器的打光和精細(xì)的多彩紋理得到一定程度的掩蓋,但如果沒有這些美化,AI生成的3D模型就仿佛“現(xiàn)了原形”,與人類建模的結(jié)果差距甚遠(yuǎn)。
幾何質(zhì)量的背后是生成結(jié)果表示的差異。3D打印機(jī)使用STL或OBJ等文件格式的實(shí)體三維模型,而神經(jīng)輻射場(chǎng)(NeRF)或高斯噴濺(Gaussian Splatting)等方法的內(nèi)在數(shù)據(jù)表示并非3D打印界熟知的實(shí)體模型,其優(yōu)化目標(biāo)也是對(duì)于一個(gè)三維場(chǎng)景或物體的表面效果的呈現(xiàn)而非幾何特征。因此,需要探索一種“原生3D”的生成方法,直接得到3D實(shí)體模型。
此外,當(dāng)前3D AIGC方法的可控性也存在不足。經(jīng)常有人問我為什么依賴3D生成而不是直接在模型庫(kù)中搜索?我的回答通常是:因?yàn)閷?duì)于3D內(nèi)容而言,可控和定制是關(guān)鍵。3D生成算法如何才能與用戶的需求對(duì)齊(align),尤其是面對(duì)一些復(fù)雜的指令輸入時(shí),這仍是一個(gè)亟待解決的問題。
圖:我和團(tuán)隊(duì)在今年CVPR發(fā)表論文的生成結(jié)果和算法管線,采用“原生3D”的范式,直接通過擴(kuò)散模型得到3D內(nèi)容,并通過多種信息編碼器實(shí)現(xiàn)可控生成。
為此,我們需要需要“另辟蹊徑”,找到一種高質(zhì)量且可控的3D AI建模方法。在今年的CVPR會(huì)議上,我和魔芯科技團(tuán)隊(duì)與浙江大學(xué)等高校的研究人員合作,在會(huì)議上展示了我們不一樣的科研成果。我們提出了一種在少量數(shù)據(jù)訓(xùn)練下即可實(shí)現(xiàn)可控并生成精細(xì)化3D結(jié)構(gòu)的3D生成方法。這一方法背后是一個(gè)多階段訓(xùn)練的3D幾何擴(kuò)散模型——先訓(xùn)練一個(gè)通用的生成“底?!?,然后在下游任務(wù)上微調(diào)。通過精心設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略,我們的方法在FID、CD等多個(gè)測(cè)量指標(biāo)上取得了領(lǐng)先的結(jié)果,因此我們的科研成果被評(píng)為本次會(huì)議精選論文,入選比例僅為2%。
02
從算法研究到商用落地的3D建模AI大模型
在公司,我有機(jī)會(huì)利用更多資源將我們發(fā)明的系列算法Scale Up,成為真正的“大模型”。近期,我?guī)ьI(lǐng)魔芯科技團(tuán)隊(duì)發(fā)布了自研的、基于DiT擴(kuò)散的3D大模型,并集成在KOKONI 3D App中,與KOKONI EC2系列3D打印機(jī)配套使用,為用戶提供服務(wù)。這是當(dāng)前唯一一個(gè)在消費(fèi)級(jí)3D打印領(lǐng)域引入大模型輔助創(chuàng)意流程的軟件工作流。
在KOKONI的3D大模型的加持下,從拿到打印機(jī)到用戶開始打印的第一個(gè)模型,3D建模就可以由AI幫助使用者完成。用戶可以在三分鐘內(nèi),僅用一段文本提示詞輸入,或是用戶手繪草圖、導(dǎo)入/拍攝單張圖片,都能完成不同品類的3D模型快速構(gòu)建;系統(tǒng)也支持在10分鐘內(nèi)處理環(huán)繞拍攝視頻的輸入到3D模型的毫米級(jí)復(fù)原,滿足了不同場(chǎng)景下的建模需求。
除了支持不同類型的輸入,我和團(tuán)隊(duì)還針對(duì)3D打印的需求,開發(fā)了專利保護(hù)的“無支撐快速打印”模式,用戶可以選擇生成部分類別模型的“無支撐”版本,算法將自動(dòng)對(duì)幾何形狀進(jìn)行優(yōu)化,并通過云端智能切片,得到無需支撐、快速打印的3D模型。結(jié)合KOKONI的旗艦級(jí)高速FDM 3D打印機(jī)KOKONI SOTA,無需調(diào)整任何切片設(shè)置,即可在數(shù)分鐘內(nèi)完成3D模型從概念到打印成品的全過程。
目前,以上建模功能均可在App Store中的KOKONI 3D App中體驗(yàn)。
03
AI 3D大模型助力3D打印行業(yè)加速進(jìn)化
早在2022年,我?guī)ьI(lǐng)的魔芯科技團(tuán)隊(duì)就在小米有品推出了首個(gè)支持AI建模的消費(fèi)級(jí)3D打印機(jī)KOKONI EC1,支持物品的三維重建和基于單張圖片的人像自拍建模。這是行業(yè)內(nèi)首個(gè)AI賦能的硬件產(chǎn)品。自發(fā)售以來,該產(chǎn)品已經(jīng)交付給數(shù)萬名消費(fèi)者,獲得了廣泛好評(píng)。我相信,只有深厚的3D打印行業(yè)根基才能賦予我們對(duì)客戶需求和市場(chǎng)趨勢(shì)的獨(dú)特洞察力。
目前,我和魔芯科技團(tuán)隊(duì)仍在訓(xùn)練更大規(guī)模、更高分辨率的3D生成模型,并結(jié)合KOKONI SOTA等高性能3D打印機(jī)為廣大消費(fèi)者帶來價(jià)值。此外,我們也在與一些行業(yè)客戶和B端商家合作,將專利的算法引擎和快速3D建模工作流應(yīng)用到消費(fèi)級(jí)桌面FDM 3D打印機(jī)以外的個(gè)性化制造3D打印應(yīng)用場(chǎng)景中,大幅提高3D模型構(gòu)建的效率和精度。
KOKONI 3D的在線3D建模平臺(tái)也即將開放。我堅(jiān)信,AI的引入不僅僅是技術(shù)的革新,更是對(duì)整個(gè)設(shè)計(jì)和制造流程的徹底重塑。隨著技術(shù)的不斷進(jìn)步,3D打印將在個(gè)性化定制、產(chǎn)品設(shè)計(jì)、B端快速原型制造等領(lǐng)域發(fā)揮更大的作用。我們正站在一個(gè)新時(shí)代的門檻上,見證著AI如何將3D打印推向一個(gè)全新的高度。
作者簡(jiǎn)介
陳天潤(rùn),魔芯(湖州)科技有限公司創(chuàng)始人。浙江大學(xué)信息與電子工程學(xué)院本科,浙江大學(xué)計(jì)算機(jī)學(xué)院直博,從事三維視覺內(nèi)容生成和智能創(chuàng)作學(xué)術(shù)研究多年,師從中國(guó)智能CAD和計(jì)算機(jī)美術(shù)領(lǐng)域的開拓者之一的計(jì)算機(jī)應(yīng)用專家。陳天潤(rùn)博士在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)頂會(huì)CVPR, ICCV, SIGGRAPH和Nature Photonics, IEEE Transactions on Multimedia等頂級(jí)期刊發(fā)表論文共二十余篇,并任IJCV, TCSVT, NeurIPS等期刊和會(huì)議的審稿人。曾獲中國(guó)青少年科技創(chuàng)新獎(jiǎng)。
|
你可能喜歡
Formnext 2024:DyeMansion推出新一代3D打
通知:12月11-13日,增材制造發(fā)展論壇暨202
開源3D建模軟件FreeCAD 1.0正式發(fā)布,支持W
eSUN易生攜趣味美學(xué)材料PLA光變線材等新品
推薦課程
神奇的3D打印
SLA3D打印工藝全套培訓(xùn)課程 - 軟件篇
3D打印月球燈視頻教程 包括完整貼圖建模流
【原創(chuàng)發(fā)布】Cura軟件修改二次開發(fā)定制視頻