8月19日，中國圖象圖形大會CCIG 2022在成都召開。百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜在會上發(fā)表《跨模態(tài)大模型技術(shù)創(chuàng)新與實踐》主題演講，并正式發(fā)布業(yè)內(nèi)首個AI藝術(shù)和創(chuàng)意輔助平臺——文心·一格，這是百度依托飛槳、文心大模型的技術(shù)創(chuàng)新推出的“AI作畫”首款產(chǎn)品。

（百度集團(tuán)副總裁、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心副主任吳甜）

　　文心·一格為藝術(shù)創(chuàng)想插上科技羽翼，人人都能成為“藝術(shù)家”

　　人學(xué)習(xí)作畫一般得從基本功練起，大體上包括線條、色彩、明暗、形體、結(jié)構(gòu)、透視、構(gòu)圖和空間。要想畫得出眾，除了日積月累勤奮練習(xí)，還需要一些天賦，以及對世界的精細(xì)觀察和創(chuàng)作者獨特的創(chuàng)想。這讓大部分人只能當(dāng)畫作的觀賞者而非創(chuàng)作者。但是，隨著深度學(xué)習(xí)、大模型等技術(shù)的發(fā)展，AI 能夠在極短的時間內(nèi)“創(chuàng)造”出不同風(fēng)格的畫作，大幅降低了作畫的門檻，讓人人都能成為“藝術(shù)家”。

　　文心·一格是基于文心大模型的文生圖系統(tǒng)實現(xiàn)的產(chǎn)品化創(chuàng)新。在文心·一格官網(wǎng)（yige.baidu.com），用戶只需輸入自己的創(chuàng)想文字，并選擇期望的畫作風(fēng)格，即可快速獲取由一格生成的相應(yīng)畫作。官網(wǎng)資料顯示，文心·一格現(xiàn)已支持國風(fēng)、油畫、水彩、水粉、動漫、寫實等十余種不同風(fēng)格高清畫作的生成，還支持不同的畫幅選擇。

文心·一格創(chuàng)作的藝術(shù)畫

文心·一格創(chuàng)作的創(chuàng)意畫

　　文心·一格面向的用戶人群非常廣泛。它既能啟發(fā)畫師、設(shè)計師、藝術(shù)家等專業(yè)視覺內(nèi)容創(chuàng)作者的靈感，輔助其進(jìn)行藝術(shù)創(chuàng)作，還能為媒體、作者等文字內(nèi)容創(chuàng)作者提供高質(zhì)量、高效率的配圖。此外，文心·一格更是為大眾用戶提供了一個零門檻繪畫創(chuàng)作平臺，讓每個人都能展現(xiàn)個性化格調(diào)，享受藝術(shù)創(chuàng)作的樂趣。

　　文心·一格背后的跨模態(tài)大模型技術(shù)與系統(tǒng)創(chuàng)新

　　吳甜表示，數(shù)據(jù)的井噴式增長、算力的持續(xù)突破、算法的持續(xù)創(chuàng)新為人工智能帶來新機遇，預(yù)訓(xùn)練大模型憑借優(yōu)越的泛化性、通用性和應(yīng)用效果，成為人工智能發(fā)展的重要方向。跨模態(tài)大模型是在技術(shù)發(fā)展和產(chǎn)業(yè)實踐中孕育而出的，也是百度文心知識增強大模型面向產(chǎn)業(yè)應(yīng)用持續(xù)創(chuàng)新及建設(shè)的重要方向。

　　面對日益增長的內(nèi)容創(chuàng)作需要，如何準(zhǔn)確理解用戶需求，進(jìn)而精準(zhǔn)刻畫并滿足多樣化風(fēng)格、高質(zhì)量生成的要求是技術(shù)要解決的關(guān)鍵挑戰(zhàn)。文心知識增強跨模態(tài)理解大模型在模型創(chuàng)新方面，提出基于多視角對比學(xué)習(xí)的ERNIE-ViL 2.0，在預(yù)訓(xùn)練過程能夠同時學(xué)習(xí)模態(tài)間和模態(tài)內(nèi)的多種關(guān)聯(lián)性，提升“圖像”和“文本”跨模態(tài)語義匹配效果。知識增強跨模態(tài)圖文生成大模型ERNIE-ViLG，將“文生成圖”和“圖生成文”任務(wù)融合到同一個模型進(jìn)行端到端學(xué)習(xí)，從而增強文本和圖像的跨模態(tài)語義對齊。

　　在此次CCIG 2022會上，吳甜還分享了ERNIE-ViLG文圖生成算法的升級，通過漸進(jìn)式擴(kuò)散模型，生成空間由小及大、生成輪廓由粗到細(xì)，同時根據(jù)生成階段自動選擇最優(yōu)生成網(wǎng)絡(luò)，文本生成圖像的效果取得進(jìn)一步提升。

　　新技術(shù)在產(chǎn)業(yè)實踐中應(yīng)用并創(chuàng)造出價值必須要足夠?qū)嵱没?/span>因此，百度基于文心大模型進(jìn)行了系統(tǒng)創(chuàng)新，研發(fā)了支持AI作畫的文生圖系統(tǒng)，提供了從用戶需求理解到滿足的全流程解決方案。首先，基于知識的Prompt工程，理解用戶需求并在此基礎(chǔ)上豐富語義細(xì)節(jié)，降低用戶輸入描述成本；其次，基于擴(kuò)散生成算法實現(xiàn)創(chuàng)意寫實與恢弘構(gòu)圖的藝術(shù)畫作生成；最后，基于跨模態(tài)匹配大模型進(jìn)行生成畫作的結(jié)果排序，自動選出語義與美觀度最佳的畫作。

　　從技術(shù)創(chuàng)新到系統(tǒng)創(chuàng)新再到產(chǎn)品化創(chuàng)新，這一體系性的創(chuàng)新得益于飛槳產(chǎn)業(yè)級深度學(xué)習(xí)平臺的夯實有力支撐。飛槳的端到端自適應(yīng)分布式訓(xùn)練技術(shù)、4D混合并行策略、對異構(gòu)硬件的自適應(yīng)并行支持，錘煉出框架與算力、算法相結(jié)合三位一體的大模型訓(xùn)練優(yōu)勢。飛槳的自動模型壓縮工具、自適應(yīng)分布式推理技術(shù)，更是大幅節(jié)約了機器資源，讓大模型的部署更加高效、便捷，能真正落地應(yīng)用。

　　吳甜認(rèn)為，新技術(shù)應(yīng)用于場景，需要從基礎(chǔ)算法、技術(shù)系統(tǒng)、工程平臺多方面同時創(chuàng)新，文心·一格就是依托于多項新技術(shù)綜合創(chuàng)新的產(chǎn)品。

　　除了推出一格這樣的AI藝術(shù)和創(chuàng)意輔助平臺，文心跨模態(tài)大模型還為廣大開發(fā)者、科技愛好者提供了飛槳開源工具和API服務(wù)能力，滿足開發(fā)者靈活探索等需求。對靈活性需求更高的開發(fā)者，可以使用飛槳的開源工具PaddleHub基于文圖生成開源算法極簡開發(fā)，并完成模型的管理和一鍵預(yù)測。對便捷性需求更高的開發(fā)者，可以使用文心ERNIE-ViLG API ，極速獲得沉浸式文圖生成大模型的技術(shù)體驗，更可靈活方便、高效地實現(xiàn)產(chǎn)品集成。

　　據(jù)了解，為了幫助更多行業(yè)用戶清晰了解、輕松應(yīng)用基于大模型技術(shù)的AIGC能力，百度飛槳文心大模型已在8月開設(shè)AIGC系列公開課，課程深入淺出、體系全面并配套豐富的實踐資源。

　　讓機器具備跨越文本、圖像等多種模態(tài)的復(fù)雜場景理解與生成能力，是人工智能的重要目標(biāo)之一，也是數(shù)字時代科技與產(chǎn)業(yè)深度融合創(chuàng)新，催生新業(yè)態(tài)新模式，加快產(chǎn)業(yè)智能化升級的新動能。人工智能在藝術(shù)領(lǐng)域的學(xué)習(xí)與創(chuàng)作能力正以蓬勃之勢不斷刷新我們的認(rèn)知，同時也讓公眾對科技與藝術(shù)及文化的融合創(chuàng)新有了更大的想象空間。文心大模型正在成為推動AIGC（人工智能生成內(nèi)容）發(fā)展的新引擎，基于文心大模型的AIGC將會帶來創(chuàng)新性的探索，并賦能到廣泛的行業(yè)領(lǐng)域。（何小文）