正如ChatGPT能夠預(yù)測(cè)下一個(gè)單詞，MeshGPT可以預(yù)測(cè)模型的下一部分。

無論是通過ChatGPT中生成3D模型的腳本，再借助OpenSCAD軟件進(jìn)行建模，還是使用Shap-E，從文本或圖像直接生成3D模型，這些方法目前仍然無法獲得較好的模型，或者說無法生成適用于3D打印的模型。

我們都知道，3D打印中常用的文件格式是STL，它由一系列三角面片構(gòu)成，通過離散的方式近似描述三維實(shí)體模型的表面。在這里，如果能夠通過AI的方式把三角網(wǎng)格轉(zhuǎn)換成模型，將是最理想的選擇。

近日，來自慕尼黑工業(yè)大學(xué)、都靈理工大學(xué)和AUDI AG的研究人員發(fā)表了一篇論文，介紹了一種名為”MeshGPT：僅使用解碼器Transformer生成三角形網(wǎng)格“的新方法，能夠使用先進(jìn)的AI技術(shù)創(chuàng)建3D形狀，特別是三角形網(wǎng)格。 論文鏈接：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf

MeshGPT通過從Transformer模型中進(jìn)行自回歸采樣，創(chuàng)造了三角形網(wǎng)格。這一模型經(jīng)過訓(xùn)練，能夠從學(xué)得的幾何詞匯中生成標(biāo)記，并將這些標(biāo)記解碼為三角形網(wǎng)格的面。與現(xiàn)有技術(shù)相比，MeshGPT顯著提高了生成3D網(wǎng)格的質(zhì)量，形狀覆蓋率提高了9%，F(xiàn)ID分?jǐn)?shù)提高了30個(gè)點(diǎn)。

該過程首先將三角形（3D形狀的構(gòu)建塊）轉(zhuǎn)換為人工智能可以理解的形式， 然后人工智能會(huì)了解這些三角形通常如何排列以創(chuàng)建不同的形狀。經(jīng)過訓(xùn)練后，MeshGPT可以通過預(yù)測(cè)三角形的排列來生成新的形狀。 它從一個(gè)起點(diǎn)開始，并不斷添加三角形以形成完整的形狀。結(jié)果是一個(gè)逼真的3D形狀，具有清晰的邊緣和細(xì)節(jié)，而且也很緊湊。

步驟說明：

1，通過使用編碼器-解碼器模型，從大量形狀集合中學(xué)習(xí)幾何嵌入的詞匯。該模型將三角形網(wǎng)格轉(zhuǎn)換為人工智能可以理解和使用的格式。

2，編碼器分析當(dāng)前的三角形網(wǎng)格并將其轉(zhuǎn)換為一系列標(biāo)記或嵌入 - 本質(zhì)上是對(duì)三角形及其排列的數(shù)字表示。這些嵌入捕捉了有關(guān)網(wǎng)格的基本幾何和拓?fù)湫畔ⅲ珥旤c(diǎn)的位置和三角形的方向。

3，一旦模型掌握了這些幾何詞匯，MeshGPT就會(huì)使用Transformer來生成新的網(wǎng)格。這一過程是自回歸的，也就是說，模型會(huì)逐步進(jìn)行預(yù)測(cè)，每一步都基于先前的預(yù)測(cè)。其中會(huì)使用兩個(gè)轉(zhuǎn)換器生成網(wǎng)格，一個(gè)用于生成點(diǎn)，另一個(gè)在指針網(wǎng)絡(luò)的幫助下生成面，最終逐漸構(gòu)建完整的網(wǎng)格。

MeshGPT的一個(gè)顯著優(yōu)勢(shì)是其能夠生成既真實(shí)又緊湊的網(wǎng)格。緊湊性指的是在創(chuàng)建詳細(xì)而準(zhǔn)確的形狀時(shí)不使用不必要的三角形。MeshGPT通過從現(xiàn)有網(wǎng)格的大量數(shù)據(jù)集中學(xué)習(xí)，了解如何保持其生成的形狀的高保真度，同時(shí)避免不必要的復(fù)雜性。

在性能方面，MeshGPT相較于以前的方法顯示出顯著的改進(jìn)。研究表明，MeshGPT生成的形狀具有更好的覆蓋范圍和保真度，有效地模仿人類創(chuàng)建的網(wǎng)格的效率和細(xì)節(jié)。該模型能夠直接生成三角形序列的網(wǎng)格，同時(shí)保持高水平的細(xì)節(jié)和真實(shí)感，這標(biāo)志著在3D形狀生成領(lǐng)域取得了重大的進(jìn)步。

如果這項(xiàng)研究能夠成功應(yīng)用，將有望消除妨礙3D打印廣泛應(yīng)用的一大難題：模型數(shù)據(jù)。

正如ChatGPT能夠預(yù)測(cè)下一個(gè)單詞，MeshGPT可以預(yù)測(cè)模型的下一部分。

無論是通過ChatGPT中生成3D模型的腳本，再借助OpenSCAD軟件進(jìn)行建模，還是使用Shap-E，從文本或圖像直接生成3D模型，這些方法目前仍然無法獲得較好的模型，或者說無法生成適用于3D打印的模型。

我們都知道，3D打印中常用的文件格式是STL，它由一系列三角面片構(gòu)成，通過離散的方式近似描述三維實(shí)體模型的表面。在這里，如果能夠通過AI的方式把三角網(wǎng)格轉(zhuǎn)換成模型，將是最理想的選擇。

近日，來自慕尼黑工業(yè)大學(xué)、都靈理工大學(xué)和AUDI AG的研究人員發(fā)表了一篇論文，介紹了一種名為”MeshGPT：僅使用解碼器Transformer生成三角形網(wǎng)格“的新方法，能夠使用先進(jìn)的AI技術(shù)創(chuàng)建3D形狀，特別是三角形網(wǎng)格。 論文鏈接：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf

MeshGPT通過從Transformer模型中進(jìn)行自回歸采樣，創(chuàng)造了三角形網(wǎng)格。這一模型經(jīng)過訓(xùn)練，能夠從學(xué)得的幾何詞匯中生成標(biāo)記，并將這些標(biāo)記解碼為三角形網(wǎng)格的面。與現(xiàn)有技術(shù)相比，MeshGPT顯著提高了生成3D網(wǎng)格的質(zhì)量，形狀覆蓋率提高了9%，F(xiàn)ID分?jǐn)?shù)提高了30個(gè)點(diǎn)。

該過程首先將三角形（3D形狀的構(gòu)建塊）轉(zhuǎn)換為人工智能可以理解的形式， 然后人工智能會(huì)了解這些三角形通常如何排列以創(chuàng)建不同的形狀。經(jīng)過訓(xùn)練后，MeshGPT可以通過預(yù)測(cè)三角形的排列來生成新的形狀。 它從一個(gè)起點(diǎn)開始，并不斷添加三角形以形成完整的形狀。結(jié)果是一個(gè)逼真的3D形狀，具有清晰的邊緣和細(xì)節(jié)，而且也很緊湊。

步驟說明：

1，通過使用編碼器-解碼器模型，從大量形狀集合中學(xué)習(xí)幾何嵌入的詞匯。該模型將三角形網(wǎng)格轉(zhuǎn)換為人工智能可以理解和使用的格式。

2，編碼器分析當(dāng)前的三角形網(wǎng)格并將其轉(zhuǎn)換為一系列標(biāo)記或嵌入 - 本質(zhì)上是對(duì)三角形及其排列的數(shù)字表示。這些嵌入捕捉了有關(guān)網(wǎng)格的基本幾何和拓?fù)湫畔ⅲ珥旤c(diǎn)的位置和三角形的方向。

3，一旦模型掌握了這些幾何詞匯，MeshGPT就會(huì)使用Transformer來生成新的網(wǎng)格。這一過程是自回歸的，也就是說，模型會(huì)逐步進(jìn)行預(yù)測(cè)，每一步都基于先前的預(yù)測(cè)。其中會(huì)使用兩個(gè)轉(zhuǎn)換器生成網(wǎng)格，一個(gè)用于生成點(diǎn)，另一個(gè)在指針網(wǎng)絡(luò)的幫助下生成面，最終逐漸構(gòu)建完整的網(wǎng)格。

MeshGPT的一個(gè)顯著優(yōu)勢(shì)是其能夠生成既真實(shí)又緊湊的網(wǎng)格。緊湊性指的是在創(chuàng)建詳細(xì)而準(zhǔn)確的形狀時(shí)不使用不必要的三角形。MeshGPT通過從現(xiàn)有網(wǎng)格的大量數(shù)據(jù)集中學(xué)習(xí)，了解如何保持其生成的形狀的高保真度，同時(shí)避免不必要的復(fù)雜性。

在性能方面，MeshGPT相較于以前的方法顯示出顯著的改進(jìn)。研究表明，MeshGPT生成的形狀具有更好的覆蓋范圍和保真度，有效地模仿人類創(chuàng)建的網(wǎng)格的效率和細(xì)節(jié)。該模型能夠直接生成三角形序列的網(wǎng)格，同時(shí)保持高水平的細(xì)節(jié)和真實(shí)感，這標(biāo)志著在3D形狀生成領(lǐng)域取得了重大的進(jìn)步。

如果這項(xiàng)研究能夠成功應(yīng)用，將有望消除妨礙3D打印廣泛應(yīng)用的一大難題：模型數(shù)據(jù)。