劃重點:

?? Consistent self-attention 實現(xiàn)角色連貫圖像生成

?? Motion predictor 實現(xiàn)長視頻生成

??支持漫畫生成、圖像轉視頻、長短視頻等多種內容生成功能

站長之家（ChinaZ.com）5月6日 消息:南開大學 HVision 團隊開發(fā)了 StoryDiffusion，一款能夠創(chuàng)造神奇故事的工具。StoryDiffusion可以保持角色一致，生成多圖漫畫和長視頻。

image.png? 由 站長之家 提供

該工具通過實現(xiàn) Consistent self-attention 和 Motion predictor，能夠生成連貫的圖像和視頻。用戶可以提供文本提示來生成角色連貫的圖像序列，同時也能實現(xiàn)長視頻生成，預測不同條件圖像之間的運動，實現(xiàn)更大幅度的運動預測。

StoryDiffusion 的應用范圍廣泛，可用于漫畫生成、圖像轉視頻等多種場景。通過 Consistent self-attention 機制生成的圖像，可以順利過渡為視頻，實現(xiàn)兩階段長視頻生成方法。此外，結合兩個部分，還能生成常長且高質量的 AIGC 視頻。

image.png? 由 站長之家 提供

用戶可以通過提供一系列用戶輸入的條件圖像，使用 Image-to-Video 模型生成視頻。此外，用戶可以通過 Jupyter notebook 或本地 adio demo 來生成漫畫。目前，該項目發(fā)布了生成漫畫部分的源碼。

產品入口：https://top./tool/storydiffusion