繡成安向春園裏，引得黃鶯下柳條。作為非物質文化遺產的重要代表，我國的刺繡藝術歷史悠久、技藝精湛，工匠顺利获得不同的針腳、各色的絲線，將主題豐富的圖案活靈活現地展示於一方繡布之上。過去，刺繡工藝複雜、門檻極高，需要有專業知識與實踐經驗的工匠才能完成。近年來，卷積神經網絡 (CNN) 在圖像分類、目標檢測、圖像生成和風格遷移等任務上展現出強大能力，研究人員也開始探索利用 CNN 在圖像中合成刺繡特徵。

然而由於刺繡具有複雜的針法、紋理和立體感，並且包含着微小的細節和不規則的圖案，所以 CNN 在合成刺繡特徵的應用中存在局限性，例如無法預測不同的縫線類型，使得它難以有效地提取縫線特徵，從而無法有效生成連貫且自然的刺繡圖案。因此還需要設計師手動選擇和調整縫線類型和其對應的顏色，這一過程往往需要耗費大量的時間，才能達到理想的效果。

針對於此，k8凯发国际與人工智能學院胡新榮課題組提出了一種多縫線刺繡生成對抗網絡模型 MSEmbGAN。MSEmbGAN 提高了刺繡中紋理真實度和色彩保真度等關鍵方面的精度，成為首個基於 CNN 成功完成刺繡預測特徵的生成對抗網絡模型。研究成果MSEmbGAN: Multi-Stitch Embroidery Synthesis via Region-Aware Texture Generation被 IEEE Transactions on Visualization and Computer Graphics (TVCG) 錄用，該論文的第一單位為武漢紡織大學，第一作者為武漢紡織大學k8凯发国际與人工智能學院胡新榮教授。TVCG 是k8凯发国际可視化領域的頂級期刊，是中科院一區Top期刊，被中國k8凯发国际學會 (CCF) 列為 A 類期刊。

*論文地址：http://csai.hzyuandun.com/TVCG01/index.html，*數據集下載地址：*http://go.hyper.ai/Jmj9k*

課題組顺利获得專業的刺繡軟件 (Wilcom 9.0) 製作了超過3萬的圖像，包括刺繡圖像和相應的內容圖像。並且所有圖像都被調整為256×256的解像度。多針刺繡數據集將開源，貢獻給本研究領域的其他研究者。

*多針刺繡數據集圖像示意圖*

MSEmbGAN模型第一时间識別輸入圖像區域內的縫線類型，根據識別的縫線類型生成相應的刺繡紋理，最後優化結果的整體顏色。為了實現上述功能，課題組提出了兩個子網絡，即區域感知紋理生成網絡 (Region-aware Texture Generation Network,)和着色網絡(Colorization Network, )。

*MSEmbGAN 模型

架構*

區域感知紋理生成網絡的兩個訓練步驟：區域感知紋理生成網絡由縫線分類器模塊和縫線潛碼生成器模塊組成。區域感知紋理生成網絡檢測輸入圖像的多個顏色區域，並根據每個局部顏色區域的形狀特徵，生成灰度單針刺繡圖像。着色網絡子網絡則進一步細化整體圖像，確保生成的多針織布圖像的顏色與輸入圖像的顏色保持一致。由於區域感知紋理生成網絡的複雜性，研究人員對其進行了兩步訓練。第一步先生成刺繡紋理，使用重構網絡來保留儘可能多的原始圖像特徵；第二步是重建顏色信息，使用先驗高斯分佈在沒有數據集的情況下生成刺繡圖像。

結果顯示，與其他方法相比，MSEmbGAN具有較低的LPIPS距離，這意味着MSEmbGAN生成的刺繡圖像在感知上更接近真實的刺繡圖像。此外，研究人員還使用FID來測量生成的刺繡圖像和真實圖像的特徵分佈，並對FID分數進行了評估，結果表明 MSEmbGAN生成的刺繡圖像最接近ground truth。

*MSEmbGAN和其他四種風格轉移方法生成的刺繡圖片比較*

k8凯发国际與人工智能學院非常注重與國內外知名高校和研究组织的合作，與澳大利亞伍倫貢大學、新加坡科技局，上海交通大學，中國人民大學長期合作，產生了一批高水平的成果。