就在最近，生成式 AI 又火了，這次是國內(nèi)的平臺！

9月，一個(gè)叫做「盜夢師」的微信小程序悄悄上線，卻一鳴驚人，達(dá)成日增5萬新用戶的紀(jì)錄，足以見得國內(nèi)玩家對親手玩到 AI 繪畫渴待已久。

不怪玩家們太熱情，從Midjourney 到 Stable Diffusion，AI「以文生圖」一直是好幾個(gè)月來最炙手可熱的話題?！敢晕纳鷪D」AI 打通了文字和圖像的隔閡，只要輸入一段文字描述，AI 就可以把用戶腦海中想象的畫面呈現(xiàn)出來。用戶輸入的文字越大膽，AI 生成的圖片就越突破人類想像，宛如盜來了夢中的絢爛畫卷。

盜夢師正是一個(gè)能根據(jù)輸入文本生成圖片的 AI 平臺，屬于AIGC（AI-Generated Content，即人工智能生成內(nèi)容）的分支，由藍(lán)振忠博士帶領(lǐng)的西湖大學(xué)深度學(xué)習(xí)實(shí)驗(yàn)室和西湖心辰科技有限公司共同推出。

在用戶發(fā)揮想象，輸入文字描述后，盜夢師便可生成1:1、9:16和16:9三種比例的圖片，還有24種繪畫風(fēng)格可以選擇——除了基礎(chǔ)的油畫、水彩、素描等繪畫種類，還包括賽博朋克、蒸汽波、像素藝術(shù)、吉卜力和 CG 渲染等特別風(fēng)格。

如果用戶有明確想要生成的藝術(shù)家風(fēng)格，還能在畢加索、梵高、莫奈等11位藝術(shù)家中進(jìn)行選擇。

圖注：盜夢師藝術(shù)家分類示例

在9月24日，盜夢師上線了圖生圖的功能，這是在文生圖基礎(chǔ)上的進(jìn)一步嘗試。只要上傳一張參考圖，便可以生成與該圖風(fēng)格相近的圖片，也可以在原畫的基礎(chǔ)上添加自己的創(chuàng)意。

而盜夢師最為接地氣的設(shè)定，還要屬「圖片版權(quán)由生成用戶所有」。

有許多用戶接觸 AIGC 的目的并不是純「玩」，他們更希望自己可以擁有生成圖片的版權(quán)，從而利用這些 AI 產(chǎn)物玩轉(zhuǎn)社交平臺、成為自己藝術(shù)創(chuàng)作的素材、抑或是創(chuàng)造更大的價(jià)值——而盜夢師正滿足了國內(nèi) AIGC 用戶的這份野心。

1

我夢見了畫，AI 畫下了夢

看小說時(shí)，誰沒有腦補(bǔ)過幾個(gè)驚呼叫絕的場景？可跨不過的繪畫門檻，卻成了普通人表達(dá)想象力的大難題。盜夢師之所以受到極大關(guān)注，正是因?yàn)楸I夢師能讓不會(huì)畫畫的人繪出自己腦海中的畫作，這才以一己之力激起驚人浪花。

而懂先生、斧頭哥和薄荷三位玩家，就是掌握了 AI 繪畫語言密碼的幾位佼佼者。

我們先來看看玩家懂先生生成的夢幻人物肖像——

文本提示：美人魚公主的美術(shù)肖像、空靈美麗的模型臉、3D底紋、色調(diào)映射、光線跟蹤、衍射光柵、晶體、流明反射、千兆像素、電影級、由劉丕政和格雷格·魯特科夫斯基以及阿爾豐斯·慕夏創(chuàng)作

盜夢師生成的圖像：

用戶薄荷則嘗試輸入的是較為「玄學(xué)」的文字內(nèi)容，盜夢師也給出了驚艷的圖片：

文本提示：藍(lán)色多瑙河, 一幅噴繪皮諾·戴尼；劉丕政；Photoshop大師；堀越耕平；Behance；生成的藝術(shù)；高清；多重曝光噴繪

盜夢師生成的圖像：

lili 則是一位 AIGC 新玩家，她幾乎沒有相關(guān)經(jīng)驗(yàn)，只靠在社區(qū)中學(xué)習(xí)到的文字描述方式，加上自己投入時(shí)間調(diào)試，制作出的人物肖像也頗為美麗，極具東方美感。

文本提示：一副美麗的人物肖像；辛烷值渲染；8k；高度細(xì)節(jié)；王凌 ；ArtStation的流行趨勢；美麗的年輕韓國人；韓流娜塔莉·波特曼；迷人的Instagram模特；Quweiz；Ilya Kuvshinov；劉丕政；對稱的眼睛；藝術(shù)的

盜夢師生成的圖像：

人像是 AIGC 界中公認(rèn)容易失調(diào)的生成對象，雖說盜夢師偶爾也會(huì)跳出五官不和諧的人像，但總的來說，只要文字「調(diào)教」得好，一幅充滿質(zhì)感的人物肖像便會(huì)躍然紙上。如再經(jīng)過專業(yè)人士加工，幾乎達(dá)到了直接能在游戲中派上用場的級別。

除人像以外，盜夢師生成的風(fēng)景圖無論虛擬還是寫實(shí)，都稱得上絕美，比如玩家斧頭哥生成的這些風(fēng)景每張都有可圈可點(diǎn)之處——

文本提示：一個(gè)賽博朋克城市；中國風(fēng)；霓虹燈；夜景

盜夢師生成的圖像：

文本提示：景觀；云繚繞著房子；月亮；世界；幻想；神話；色彩斑斕；阮佳+黃光劍

盜夢師生成的圖像：

文本提示：沐浴在晨光里；山頂上有中國式建筑；壯麗的、奇妙的；約翰·豪；山水；湖泊；云；早晨；農(nóng)田；王凌；神話；光效；夢；格雷格·魯特科夫斯基，虛擬引擎；詹姆斯·格尼；ArtStation

盜夢師生成的圖像：

文本提示：一幅美麗的天堂花園畫作；九重天；ArtStation式渲染；光效；高清；辛烷值

盜夢師生成的圖像：

文本提示：一幅美麗的中國山水景觀圖

盜夢師生成的圖像：

這五幅風(fēng)景畫風(fēng)格各異，共同點(diǎn)則是都牢牢把握住了用戶輸入的風(fēng)格需求，如將這一工具善加使用，小團(tuán)隊(duì)也不愁做不起燒錢的炫酷場景了。

2

對話盜夢師團(tuán)隊(duì)

為了更深入了解盜夢師這個(gè)「盜取藝術(shù)火種」的趣味平臺，AI科技評論對盜夢師團(tuán)隊(duì)進(jìn)行了一次專訪，并提出一系列問題，與大佬們探索生成式 AI 的無限可能。

以下是AI科技評論與盜夢師團(tuán)隊(duì)的對話：

AI科技評論：請問在什么樣的場景下，貴團(tuán)隊(duì)產(chǎn)生了想要做文本生成圖像 AI 的想法？

盜夢師團(tuán)隊(duì)：我們之前一直在做文生文和可控文本生成的產(chǎn)品，近來我們發(fā)現(xiàn)，文生圖走到了一個(gè)商業(yè)可用的階段。而圖片給人的沖擊力會(huì)更強(qiáng)，信息的傳播能力也很好，所以我們希望能夠在這個(gè)領(lǐng)域也做出一些能夠幫助到大家的產(chǎn)品。

AI科技評論：盜夢師所用的模型是什么？

盜夢師團(tuán)隊(duì)：是在 Stable Diffusion 的基礎(chǔ)上做改進(jìn)。

我們在幾個(gè)月前已經(jīng)開始研究文生圖，那時(shí)已經(jīng)有很多的圖片生成技術(shù)，比如生成對抗網(wǎng)絡(luò) GAN、DALL·E 的自回歸模型，當(dāng)時(shí)我們用自己的數(shù)據(jù)和 follow instruction 方式去做過一些訓(xùn)練，但是我們認(rèn)為生成效果都沒有達(dá)到可商用的水平。

就在一個(gè)月前， Stable Diffusion 一經(jīng)發(fā)布，我們用自己的 follow instruction 方式對它重新做了訓(xùn)練，發(fā)現(xiàn)生成的圖片效果非常驚艷，我們也被震撼了，于是花了兩周的時(shí)間，和前后端、產(chǎn)品同學(xué)一起把盜夢師推上線。

AI科技評論：Follow instruction 方式是什么？

盜夢師團(tuán)隊(duì)：Follow instruction 方式是盜夢師最大的一個(gè)創(chuàng)新。一張生成的圖片被用戶保存下來，這表示用戶認(rèn)可這張圖的效果，這就是一個(gè)訓(xùn)練的信號，我們可以根據(jù)這個(gè)信號去訓(xùn)練更好的圖像。我們之前在文生文這一塊也有做類似工作，就是讓模型更好地 follow instruction，即更好地聽懂用戶的指令，生成用戶想要的東西。

AI科技評論：盜夢師還有哪些創(chuàng)新思想？

盜夢師團(tuán)隊(duì)：盜夢師還在引導(dǎo)用戶更好地輸入方面不斷進(jìn)行改進(jìn)?，F(xiàn)在大家可以看到，在模型生成的10張圖里，有一張用戶想要的就很不錯(cuò)了，尤其是初階玩家還不太熟悉如何輸入，生成效果也會(huì)打折扣，所以模型 follow human instruction 方面做得還不夠好。

舉個(gè)例子，在研究用戶保存圖片行為的時(shí)候，我們發(fā)現(xiàn)那些用戶沒有保存的圖，其平均輸入文字大概是14個(gè)字，而用戶保存下來的圖片，其平均輸入文字是18個(gè)字。這說明用戶的輸入與圖片質(zhì)量有很大關(guān)系，我們需要在引導(dǎo)用戶更好地輸入這方面不斷改進(jìn)。

AI科技評論：我在玩盜夢師的時(shí)候，看到文字輸入框下有輸入提示，也在用戶手冊中讀到指導(dǎo)用戶輸入的內(nèi)容。除此之外，盜夢師還有哪些從產(chǎn)品角度出發(fā)的設(shè)計(jì)？

盜夢師團(tuán)隊(duì)：從整個(gè)產(chǎn)品用戶體驗(yàn)的角度來看，我們希望盡量讓所有的用戶都能輕松上手玩 AIGC（AI-Generated Content）。雖然現(xiàn)在有很多UP主和各種推文在介紹怎么玩，甚至嘗試在自己電腦上搭起來，但仍然只有少量的技術(shù)型用戶和極客能夠玩 AIGC。

而我們希望凡是對此有興趣的創(chuàng)作者，甚至沒有一點(diǎn)技術(shù)基礎(chǔ)的用戶，都能夠很快上手玩起來。所以盜夢師會(huì)對用戶輸入有許多提示，并且給出了畢加索、梵高、莫奈等藝術(shù)家畫風(fēng)供用戶直接選擇。

同時(shí)，盜夢師還用圖片的形式表現(xiàn)可生成的藝術(shù)風(fēng)格。

圖注：盜夢師藝術(shù)風(fēng)格示例

如果沒有圖片，很多用戶可能不知道蒸汽波和未來主義是什么樣的藝術(shù)風(fēng)格，但是用圖片做示例后，用戶就可以輕松選擇，能獲得更多嘗試的動(dòng)力。

同時(shí)我們還做了藝術(shù)展，這是一個(gè)展示區(qū)，可以看到其他用戶的作品。有的高階用戶本身是美術(shù)從業(yè)者，可以設(shè)計(jì)出非常驚艷的圖。在展示區(qū)里，較為初階的用戶就可以學(xué)習(xí)別人怎么去寫出好的 prompt（即輸入文字描述）。

圖注：盜夢師藝術(shù)展

盜夢師算法團(tuán)隊(duì)近期準(zhǔn)備上線一個(gè)小功能，可以在輸入側(cè)幫助用戶填充文本。很多新用戶剛開始玩，不知道要輸入什么文本，可能只會(huì)輸一個(gè)“太陽”或“月亮”等特別簡短的內(nèi)容。

但深度玩家會(huì)就發(fā)現(xiàn)，盜夢師要玩得好，需要關(guān)鍵詞、效果詞，再加上藝術(shù)家和風(fēng)格的各種搭配。針對用戶保存的、在藝術(shù)展展出的好圖，我們會(huì)把這些好圖的 prompt 收集起來，在用戶輸入的時(shí)候做一個(gè)近似度的匹配，便于用戶更快學(xué)習(xí)到文本輸入的訣竅。

AI科技評論：在盜夢師輸入“畫一個(gè)自行車并標(biāo)明在地面滾動(dòng)的部分”，其生成的圖片缺乏邏輯，效果不佳，這是否說明盜夢師不理解自己所畫物體的運(yùn)作方式，而是和其他 AI 一樣“學(xué)習(xí)大規(guī)模數(shù)據(jù)集并以新方式融合” ?

盜夢師團(tuán)隊(duì)：是的，生成式 AI 的現(xiàn)狀基本都是模仿。

AI科技評論：請問盜夢師如何突破這個(gè)普遍現(xiàn)狀，達(dá)到“理解自己畫出的世界，運(yùn)用知識進(jìn)行推理并決策”的水平？投入什么樣的技術(shù)有可能實(shí)現(xiàn)呢？

盜夢師團(tuán)隊(duì)：雖然目前的圖片生成 AI 能力確實(shí)到達(dá)了歷史上的峰值，但是我覺得還是需要更大的規(guī)模的數(shù)據(jù)以及更長時(shí)間的訓(xùn)練。

而這個(gè)數(shù)據(jù)，不僅僅是數(shù)量更大，還需要包含更全面的信息，比如說，圖片不僅僅只是圖畫，也可以是醫(yī)院的x光片，也可以是建筑設(shè)計(jì)師畫出的設(shè)計(jì)圖，囊括了生活的方方面面。

同時(shí)，我們使用 follow instruction 的方式，也就是使用用戶的反饋、點(diǎn)贊等信號，加上專業(yè)美術(shù)生幫助我們做標(biāo)注和評測。將人類的反饋信息結(jié)合到我們的模型訓(xùn)練中，然后以期待生成更加遵循用戶輸入指令的圖片。

第三，根據(jù)過往做語言對話、文本生成方面工作的經(jīng)驗(yàn)，我們認(rèn)為在文生圖這方面我們還需要用更大的語言模型來幫助盜夢師畫出它理解的世界。

由于語言中蘊(yùn)含了極為豐富的知識，所以運(yùn)用我們之前在語言方面預(yù)訓(xùn)練過的模型，會(huì)對盜夢師圖片生成中的一些數(shù)字問題、常識問題會(huì)有很大的幫助，我們可以通過這方面的訓(xùn)練，讓盜夢師逐步去達(dá)成運(yùn)用知識進(jìn)行推理和決策。

AI科技評論：圖像生成AI的出現(xiàn)讓我們離通用人工智能（AGI）又近了一大步嗎？您認(rèn)為圖像生成AI與AGI之間有什么聯(lián)系？

盜夢師團(tuán)隊(duì)：我認(rèn)為不是這樣。沒有太大聯(lián)系，生成式 AI 更多是概率模型。

AI科技評論：有學(xué)者老師做過一個(gè)環(huán)境相機(jī)，通過融合溫度、濕度等傳感器的多模態(tài)信息，可以提升相機(jī)的成像質(zhì)量。那么圖像生成AI是不是也可以通過融合更多其他模態(tài)信息的方式，提高圖像的生成質(zhì)量？

盜夢師團(tuán)隊(duì)：有可能。我們已經(jīng)有類似的 idea，文生圖服務(wù)不一定只能通過文字生成。例如盜夢師有參考圖的設(shè)置，用戶可以上傳一張圖片，加上文字描述，從而生成更好玩的圖片。

我們還有更多的想法，比如，也許可以加上用戶的交互操作，或者用戶可以選中圖片的某些地方，甚至是用戶之間通過協(xié)作畫圖……像這些交互式的信息，將來都有可能作為訓(xùn)練數(shù)據(jù)，從而實(shí)現(xiàn)提高生成圖片的質(zhì)量、提高對圖片的可控性。

AI科技評論：“利用盜夢師平臺生成的圖片版權(quán)屬于用戶”，這個(gè)版權(quán)的設(shè)定和其他AI平臺不同，請問貴團(tuán)隊(duì)為何決定如此設(shè)定？

盜夢師團(tuán)隊(duì)：我們做出這個(gè)設(shè)定是基于兩點(diǎn)：一是盜夢師建立在CCO協(xié)議的基礎(chǔ)上，二是因?yàn)橛脩魰?huì)花很多精力和時(shí)間去調(diào)試 prompt，而且 AIGC 的創(chuàng)作靈感是來源于用戶，沒有用戶的靈感就沒有新圖的誕生，所以我們覺得應(yīng)該將創(chuàng)作版權(quán)歸還給用戶。

AI科技評論：有人認(rèn)為生成式AI的出現(xiàn)會(huì)使某些行業(yè)從業(yè)者的大面積失業(yè)，您對生成式AI給社會(huì)帶來的便利和沖擊有什么看法？

盜夢師團(tuán)隊(duì)：原來不能作畫的人，現(xiàn)在能夠享受創(chuàng)作帶來的愉悅；也有一些插畫師開始思考怎么利用盜夢師才能更好、更快地完成作品。但盜夢師帶來便利、提高生產(chǎn)力的同時(shí)，肯定也會(huì)對一部分人有所沖擊，就像汽車的出現(xiàn)造成了馬車夫的大面積失業(yè)一樣。但失業(yè)的馬車夫也可以轉(zhuǎn)行去做司機(jī)。

總的來說，我們認(rèn)為生成式 AI 的到來鼓勵(lì)了廣大從業(yè)者與新技術(shù)進(jìn)行結(jié)合，更好更快地做出作品。

B站上有一個(gè)熱評，說目前 AI 生成圖片有兩大使用功效，一是出概念、找靈感，二是當(dāng)成p圖素材與手工結(jié)合，我們非常認(rèn)可這兩點(diǎn)。

AI科技評論：但仍有一些美術(shù)從業(yè)者不愿意自己的作品被 AI 學(xué)習(xí)，您怎么看？

盜夢師團(tuán)隊(duì)：我覺得在新浪潮當(dāng)中大家可以保持自己的觀點(diǎn)。例如在相機(jī)出現(xiàn)之后，有的畫家轉(zhuǎn)向了非寫實(shí)流派，也有一些藝術(shù)家走向了攝影藝術(shù)。

對于現(xiàn)在的手繪工作者來說，可以選擇調(diào)整自己的風(fēng)格，也可以選擇與 AI 結(jié)合，成為一個(gè)數(shù)字藝術(shù)家。我們覺得生成式 AI 更多帶來的還是一種新的藝術(shù)業(yè)態(tài)。

AI生成圖片的版權(quán)爭議應(yīng)該還會(huì)繼續(xù)一陣子，包括圖片被用來訓(xùn)練模型的藝術(shù)家們該如何從AI生成的圖片中獲益一定也是大家探討和研究的熱門話題。相信隨著創(chuàng)作形態(tài)的改變，版權(quán)本身的定義和保護(hù)方式也會(huì)有更多發(fā)展。我們相信類似區(qū)塊鏈等新技術(shù)最終會(huì)帶來新形態(tài)的版權(quán)保護(hù)和收益分享機(jī)制，更好的促進(jìn)創(chuàng)新和創(chuàng)作。我們大膽猜測不久的將來，有一部分藝術(shù)家會(huì)很樂意自己的圖片成為AI的訓(xùn)練素材。

AI科技評論：在充滿競爭的環(huán)境當(dāng)中，盜夢師如何脫穎而出？

盜夢師團(tuán)隊(duì)：除了本身算法能力強(qiáng)，我們還積累了豐富的產(chǎn)品經(jīng)驗(yàn)，我認(rèn)為這算是一個(gè)天生的優(yōu)勢。在競爭較為激烈的環(huán)境里，我們會(huì)去嘗試更多將藝術(shù)和 AI 結(jié)合的產(chǎn)品設(shè)計(jì)，去引領(lǐng) AIGC 的潮流，這個(gè)是我們非常想做的事情。

AI科技評論：請問盜夢師的未來商業(yè)計(jì)劃是什么樣的？

盜夢師團(tuán)隊(duì)：我們從10月份起會(huì)開始低強(qiáng)度的收費(fèi)，即是說，會(huì)以親民的方式去讓大家使用。大部分的普通用戶不需要付費(fèi)，而高強(qiáng)度使用的專業(yè)玩家可以選擇優(yōu)惠套餐，這個(gè)是 To C（面向消費(fèi)者）的商業(yè)計(jì)劃。

同時(shí)我們認(rèn)為，To B（面向企業(yè)）也有非常多的商業(yè)場景。像游戲場景制作、文本圖片編輯器、美術(shù)教育等方面均已有公司開始接洽。

長期來看，在To B 方向，我們會(huì)在行業(yè)里繼續(xù)深耕，我們之前做文生文或者可控文本生成就有經(jīng)驗(yàn)，要做到更精深，更有護(hù)城河的話，要做到去收集和獲取行業(yè)的知識和數(shù)據(jù)，才能在這個(gè)行業(yè)里面取得好的效果。

我們也明白，To C 還是有較大難度的，但我們依然會(huì)去探索。從產(chǎn)品角度來說，可能有人會(huì)說社交平臺的仗已經(jīng)打完了，而現(xiàn)在出現(xiàn)了內(nèi)容生成的利器，成為創(chuàng)作者的門檻大幅度的降低了——AIGC 能讓每個(gè)人都參與到創(chuàng)作中，這是一個(gè)全新的浪潮。所以即便知道難度較大，我們也會(huì)去探索。

AI科技評論：除了向客戶提供付費(fèi)生成服務(wù)的“基礎(chǔ)模式”外，圖像生成 AI 還有什么更遠(yuǎn)大的用途嗎？

盜夢師團(tuán)隊(duì)：我們其實(shí)有挺多的 idea。我們團(tuán)隊(duì)一直在做心理咨詢機(jī)器人，圖像生成 AI 就可以應(yīng)用到心理咨詢服務(wù)中。舉個(gè)例子，有一個(gè)心理咨詢療法叫繪畫藝術(shù)療法，有的用戶很難用語言表達(dá)自己的心理狀態(tài)，咨詢師就會(huì)請他們繪畫，從畫中看出他們的心理狀態(tài)。然而不是每個(gè)用戶都有繪畫的能力，如果在心理咨詢中加入盜夢師，用戶就可以通過表述來產(chǎn)生簡單的畫面，經(jīng)過用戶認(rèn)可后，可以用作心理分析的素材。

AIGC 和元宇宙應(yīng)該會(huì)有非常棒的結(jié)合，因?yàn)樵钪嫦喈?dāng)于重新創(chuàng)造一個(gè)載體和環(huán)境。元宇宙的部分定義是含有多重場景，而創(chuàng)建場景本來會(huì)有非常高的成本，如果 AIGC 的技術(shù)越來越成熟，在創(chuàng)造各種新場景時(shí)，成本就會(huì)變得很低。

同時(shí)，AIGC 降低了內(nèi)容創(chuàng)作的門檻，每個(gè)人在元宇宙里的自我角色都可以通過文字生成，所有人都能參與元宇宙環(huán)境的搭建，所以我覺得與元宇宙將會(huì)是非常有前景的結(jié)合。

我們還想過，AIGC 對于未來的內(nèi)容平臺形態(tài)會(huì)有很大的改變。我們在內(nèi)部頭腦風(fēng)暴時(shí)談過，現(xiàn)在網(wǎng)絡(luò)小說是非常受歡迎的，網(wǎng)絡(luò)小說可以每天更新，但受到繪畫技能門檻的影響，幾乎沒有人能夠做到每天更新幾十頁漫畫。如果說 AI 生成圖片的能力能夠幫到創(chuàng)作者，將1000字的文章自動(dòng)轉(zhuǎn)化成幾十幅圖片，或者輔助漫畫家根據(jù)自己已有底稿的風(fēng)格快速生成更多的漫畫，到了那個(gè)時(shí)候，可能人們每天看的就不是網(wǎng)絡(luò)小說了，而是網(wǎng)絡(luò)漫畫——種種情況都有可能，整個(gè)生態(tài)需要大家一起來建設(shè)。