|
9月，字節(jié)跳動 Seed 團隊宣布推出豆包圖像創(chuàng)作模型 Seedream 4.0，并上線豆包 App。該模型支持文生圖、圖像編輯及多圖參考等功能，相比前代模型 Seedream 3.0 和 SeedEdit 3.0，多模態(tài)生圖效果、速度和可用性在專業(yè)評測中達到業(yè)界領(lǐng)先水平。  這一升級也讓豆包P圖實現(xiàn)了“玩法”升級，為用戶打開了多模態(tài)自由創(chuàng)作的大門?；谶@一升級，網(wǎng)友們解鎖了不少有趣玩法，帶來了萬物皆可“邪修”的有趣體驗。  比如一鍵編輯與重繪功能可以一鍵搞定圖片編輯、局部替換，還是風(fēng)格遷移、影像合成等需求。 我們不妨通過一個具體例子來體驗其效果。讓馬斯克開上小米 SU7，在豆包對話頁面點擊“豆包 P 圖”，默認就是“豆包Seedream 4.0”。上傳圖片，輸入文字描述，等待近 30秒，豆包就能直接生成基本符合描述的圖片。   上圖為 AI 生成 雖然首次生成在細節(jié)上還有不足，比如馬斯克的頭還是會在前擋風(fēng)玻璃外，這顯然有些不合邏輯。不過，簡單指令下，意思已經(jīng)非常貼近。難怪Seedream 4.0 內(nèi)測一出，網(wǎng)友們就把它玩出了花。當(dāng)然，是不是真的萬物皆可“邪修”，我們也對核心功能進行了嘗試。 一鍵換衣 我們上傳了一張模特照和一套衣服（網(wǎng)圖），輸入提示詞：讓圖 1 女生穿上圖 2 的衣服。   上圖為 AI 生成 從生成的結(jié)果上看，這次的模型能夠遵循提示詞要求，將參考穿搭替換到模特身上。整體效果自然，輪廓基本與參考圖一致。但是，服飾替換之后，細節(jié)仍待提升，想達到官方宣傳的替換效果，還需要經(jīng)過多次嘗試和調(diào)整。 多圖輸入 為了驗證多圖融合能力，我們上傳了一貓一狗兩張寵物照片，并輸入提示詞：將圖 1 狗狗和圖 2 貓咪合進一張畫面。   上圖為 AI 生成 模型整體可以理解提示詞的意思，但是豆包“P圖”的老毛病依然存在：太愛“自作主張”。給出指令之后，雖然做了融合，背景也還算協(xié)調(diào)，但改變了狗狗的顏色。 分鏡設(shè)計 能融入也就能輸出，如果想給照片做一下分鏡，Seedream 4.0 多圖輸出能力值得一試。我們上傳了一張帶走雙人的電影劇照，輸入提示詞：根據(jù)圖片，生成一組愛情片分鏡，比如散步、看電影等。   上圖為 AI 生成 從結(jié)果上看，Seedream 4.0 能夠在嚴格遵循人物外觀一致性的基礎(chǔ)上，設(shè)計出海邊漫步，看電影，咖啡館約會等浪漫場景。形象沒有漂移，和一般的生成模型還是有一定的區(qū)別，設(shè)計的故事化圖像可用性也比較高。 場景重建 在深度意圖理解方面，Seedream 4.0 也展現(xiàn)出強大的場景重建能力。我們上傳了一張室內(nèi)設(shè)計的線稿圖，輸入提示詞：將線稿圖改造成真實場景。  右圖為 AI 生成 從結(jié)果上看，這一模型實現(xiàn)了細節(jié)上的高度還原，從沙發(fā)、桌子、臺燈等主要家具，到畫框、綠植等小型裝飾，都能做到幾乎1:1 的精準(zhǔn)復(fù)刻。同時，空間構(gòu)建較為合理、完整。這說明，Seedream 4.0 在理解用戶意圖上有較大進步，生成結(jié)果的整體觀感與專業(yè)設(shè)計渲染效果較為接近。 精準(zhǔn)指令編輯 在增刪改替常規(guī)玩法方面，Seedream 4.0 有較大進步。我們上傳一張背景雜亂的旅行照，給出指令：刪除背景中的路人。 右圖為 AI 生成 從生成結(jié)果上看，背景中雜亂的路人可以被刪除得較為干凈，并且可以對背景進行自然填充，畫面銜接較為流暢，P 圖痕跡基本可以忽略不計。 另外，如果想要執(zhí)行更為復(fù)雜的任務(wù)，Seedream 4.0 也能在保證面部特征和氣質(zhì)一致性的基礎(chǔ)上，順利完成指令。比如，我們上傳了一張人像圖，輸入指令：更換圖片人物發(fā)型。 右圖為 AI 生成 從結(jié)果上看，這一模型可以流暢轉(zhuǎn)換發(fā)型，效果較為自然，可以避免因局部修改導(dǎo)致的整體失真。如果想要改變?nèi)宋镒藙?，只需要輸入更換不同姿勢的指令，Seedream 4.0就可以根據(jù)指令生成較為自然的姿勢和場景。比如我們上傳一張人物正面圖，輸入指令：改變圖片人物姿勢。 那么，我們就會輕松獲得各種帶有場景的“寫真照”。從實測表現(xiàn)來看，這一特性對廣告設(shè)計、電商修圖、影視后期等場景尤為重要，大幅減少了人工二次修正的成本，不知道平面設(shè)計師們有沒有瑟瑟發(fā)抖？ 左圖為 AI 生成 多圖生成 相比單圖輸入，多圖參考能提供更豐富的信息。Seedream 4.0 最多可支持十余張參考圖，同時抽取人物特征、場景風(fēng)格和物體結(jié)構(gòu)，并進行有機融合。我們上傳了四張圖片，輸入指令：根據(jù)相關(guān)圖片，抽取人物特征、場景風(fēng)格和物體結(jié)構(gòu)，并進行有機融合。 上圖為 AI 生成 從結(jié)果上看，這一模型的對構(gòu)圖的思考能力還不錯，它可以基于多張照片進行合理構(gòu)圖，能夠比較好的理解用戶意圖，在合成過程中基本能保持尺度合理與物理結(jié)構(gòu)的連貫性，展現(xiàn)出對現(xiàn)實世界的“常識理解”。 文字生成圖片 我們對這一生成能力也進行了測試，在對話框輸入指令：一個亞洲少數(shù)民族男孩，坐在草地上看書，身邊放著馬鞭，草地上有一匹馬在吃草，天空是清透的藍天白云，構(gòu)圖為3:2橫圖，風(fēng)格為寫實攝影。 左圖為 AI 生成 從生成結(jié)果上看，Seedream 4.0可以輕松理解文字意圖，并根據(jù)理解生成較為美觀的實拍風(fēng)格圖片。直接文字描述就能生成圖片的方式，不知道能不能滿足“善變”的甲方呢？ 修復(fù)老照片 如果想修復(fù)一下老照片，Seedream 4.0也能承擔(dān)起修復(fù)師的工作。我們上傳了一張破損嚴重的舊照，并要求這倆模型進行自動修復(fù)。輸入指令：修復(fù)這張老照片，并將色彩變成彩色。 右圖為 AI 修復(fù) 從結(jié)果上看，這一模型的處理結(jié)果能夠達到可用水準(zhǔn)，照片中的瑕疵基本可以去掉，人物面部輪廓與背景紋理表現(xiàn)得比較銳利，照片清晰度恢復(fù)的較高?？傮w來說，在保持原有影像風(fēng)格的前提下，將照片恢復(fù)到了較為完整、清晰的狀態(tài)。 結(jié)語 在圖像創(chuàng)作方面，豆包有了Seedream 4.0 之后，其已從單一的文生圖進入多模態(tài)交互的新階段。不管是理解能力還是對復(fù)雜任務(wù)的處理方面，都有了較大提升。換句話來說，Seedream 4.0在一定程度上打破了單點能力局限，開始具備通用多模態(tài)創(chuàng)意引擎的雛形。不過，在一些任務(wù)處理上，Seedream 4.0 在理解用戶意圖上，仍然需要進化。 總體來說，即便是不具備 PS 軟件使用能力的普通人，也可以在豆包這兒進行圖片處理。簡單的電商圖片、文案處理，甲方的簡單需求，也可以得以解決。而要達到專業(yè)設(shè)計師的水平，我們還需要關(guān)注 Seedream 4.0 的進一步進化。 參考資料：微博、豆包APP 編輯：夏樹 |
|
|
