導語:中文世界的AIGC已然開啟。透過智源研究院大模型研究團隊開源的雙語 AltDiffusion 模型,可以實現精細長中文Prompts高階創作。
近來,生成式AI(AIGC)正如火如荼地展開。擴散模型在影象的生成上正在超越GANs,成為文字生成最先進的模型。透過該模型,文字在生成圖片、影片、音訊,以及分子設計等“一鍵生成”的技術上都開始應用。
在國外,OpenAI、META和谷歌等廠商正在不斷髮布最新研發成果。國內科技公司華為、阿里、商湯等也紛紛湧入這一領域。
對於中文世界的創作者來說,如果應用Dall·E 2等國外工具,將會面臨的難題是:思考英文Prompts準確表達的絞盡腦汁,翻譯軟體詞不達意的尷尬,精細構思的 Prompts 在畫面生成中找不到一絲痕跡,亦或面對文化誤解中的“中國風”哭笑不得……
日前,智源研究院大模型研究團隊開源最新雙語AltDiffusion模型,為中文世界帶來專業級AI文圖創作的強勁動力:
支援精細
長中文 Prompts 高階創作;
無需文化轉譯,從原汁原味中國話直達形神兼備中國畫;
且在繪畫水平上達到低門檻中英對齊原版 Stable Diffusion 級震撼視效,可以說是講中文的世界級 AI 繪畫高手。
創新模型 AltCLIP 為這一工作的基石,為原 CLIP 模型補齊更強的跨語言三大能力。AltDiffusion 和 AltCLIP 模型均為多語言模型,中英雙語為第一階段工作,程式碼與模型已開源。
AltDiffusion
https://github。com/FlagAI-Open/FlagAI/tree/master/examples/AltDiffusion
AltCLIP
https://github。com/FlagAI-Open/FlagAI/examples/AltCLIP
HuggingFace space試玩地址:
https://huggingface。co/spaces/BAAI/bilingual_stable_diffusion
技術報告
AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities
https://arxiv。org/abs/2211。06679
專業級中文 AltDiffusion
長Prompt精細繪畫 + 原生中國風,
滿足中文AI創作高手的高需求
得益於以
AltCLIP
為基礎的強大中英雙語言對齊能力,
AltDiffusion
達到近似於 Stable Diffusion 程度的視效水平,尤其具備更懂中國話、更善中國畫的獨特優勢,非常值得專業級中文AI文圖創作者期待。
長Prompt生成,畫面效果毫不遜色
Prompt長短是檢驗模型文圖生成能力的分水嶺,越長的Prompt,越考驗語言理解、圖文對齊和跨語言這三大能力。
在同樣的中英文長 Prompt 輸入調校下,AltDiffusion 在不少圖片生成案例中表現力甚至更勝一籌:元素構成豐富精彩、細節描摹細膩精準。
主流模型同主題創作效果如下:
更懂中國話,更善中國畫
除中英文 Prompts 輸入表現近似之外,AltDiffusion 還能補齊西方世界裡中國畫風的不足,利用中文圖文對繼續微調出中文特色的生成,例如國畫風格生成模型,產出真正的“中國風”。
飽覽旖旎國風美
AltDiffusion更懂中文,在中國文化語境中的意義描摹上指哪打哪,秒懂創作者意圖。例如對“唐朝盛景”的描繪,避免出現因文化誤解而產生的跑題情況。
尤其對原生於中國文化的概念,理解與表現更為精確,得以避免“日本風”與“中國風”混淆,令人啼笑皆非的狀況。例如,與Stable Diffusion在中英文輸入對應唐裝人物風格的Prompts,差異一目瞭然。
對比兩種”中國風“
在特定風格的生成中,會原生以中文文化語境為身份主體,進行風格創作,例如對於下面帶有“古建築”的prompt,會預設生成中國古代建築。在創作風格上更加貼閤中文創作者身份。
中英雙語,生成效果對齊
AltDiffusion基於Stable Diffusion,透過將原來Stable Diffusion中的CLIP替換成AltCLIP,並且用中英文圖文對對模型進行進一步的訓練得到。得益於 AltCLIP 強大的語言對齊能力,AltDiffusion 的生成效果在英文上與 Stable Diffusion 很接近,在中英文雙語的表現上也體現了一致性。
如“戴帽子小狗”的同義中英文Prompts 輸入AltDiffusion後,生成畫面效果基本對齊,一致性極高:
在對“男孩”的畫面增加描述詞為“中國男孩“之後,在原小男孩形象基礎上,精準調整成典型“中國”孩子,在語言控制生成中展現出極佳語言理解能力和精準的生成表達結果。
打通StableDiffusion原生態
豐富生態工具與PromptsBook應用,可玩性極佳
特別值得一提的是 AltDiffusion 的生態打通能力:所有支援Stable Diffusion的工具如Stable Diffusion WebUI,DreamBooth等都可應用在我們的中英雙語 Diffusion 模型上,為中文AI創作提供了豐富選擇。
Stable Diffusion WebUI
一個優秀的文圖生成、文圖編輯的網頁工具;當我們把北大夜景圖霍格沃茨(prompt: Hogwarts)化,瞬間即可呈現夢幻的魔法世界。
直通霍格沃茨
DreamBooth
透過少量樣本對模型進行除錯以生成特定的風格的工具;透過這一工具,在AltDiffusion上利用少量中文圖片即可生成特定風格,比如“大鬧天宮”風格。
充分利用社群Stable Prompts Book
Prompts 對於生成模型非常重要,社群使用者透過大量 prompts 嘗試,積累出豐富的生成效果案例。這些寶貴的 prompts 經驗,對於 AltDiffusion 使用者幾乎全都適用!
此外,還可以透過混合中英文方式去搭配一些神奇的風格和元素,或繼續挖掘對AltDiffusion適用的中文Prompts。
方便中文創作者微調
開源的AltDiffusion提供了中文生成模型的一個基礎,大家可以在這個基礎上用更多特定領域的中文資料進行模型微調,方便中文創作者表達。
以首個雙語 AltCLIP 為基石
全面增強跨語言三大能力,中英對齊,中文更優,極低門檻
語言理解,圖
文對齊
,跨語言能力,是跨語言研究必備的三種能力。
AltDiffusion 的諸多專業
級能力,源於 AltCLIP 以創新性換塔思路,在這三大能力上全面增強:
與原 CLIP 中英文語言對齊能力大大提高,可以無縫接入 Stable Diffusion 等所有建立在原 CLIP 上的模型和生態工具;
同時賦予其強悍的中文能力,在多項資料集取得中文更優效果。
(詳細解讀請參考技術報告)
值得一提的是,這種對齊方法對訓練多語言多模態表徵模型的門檻大大降低,相對於重新去做中文或者英文的圖文對預訓練,只需約 1% 的計算資源與圖文對資料。
在全面CLIP benchmark中取得了和英文原版一致效果,
在一些檢索類資料集上如Flicker-3
0K上超過了原版。
Flicker-30K上表現效果超過原版CLIP。
中文ImageNet上zero-shot結果最優。
炒股開戶享福利,入金抽188元紅包,100%中獎!
開啟App看更多精彩內容