|
簡(jiǎn)單的文字壁紙生成工具 https://wallpaper.v/ 大家都在生成視頻還有語(yǔ)音,總要有人幫生成音效吧???
今年最被低估的AI模型之一,重現(xiàn)李小龍功夫音
?? MMAudio是一個(gè)全新的AI音頻生成工具,可以自動(dòng)為視頻生成環(huán)境音效和動(dòng)作音效,為AIGC領(lǐng)域視聽同步生成的難題帶來了突破性進(jìn)展。
??code:https://github.com/hkchengrex/MMAudio
Demo:https:///zsxkib/mmaudio
拓展閱讀:https://mp.weixin.qq.com/s/F5RkV5bD_itV720yvfZ3-Q
?重點(diǎn)
● ?? 工具簡(jiǎn)介:MMAudio由伊利諾伊大學(xué)和索尼聯(lián)合開發(fā),能夠基于視頻內(nèi)容自動(dòng)生成合適的音效,包括背景音(如風(fēng)聲、鳥鳴)和動(dòng)作音(如碰撞聲、武術(shù)動(dòng)作聲)。
● ?? 音效實(shí)例:
經(jīng)典場(chǎng)景重現(xiàn):為《閃靈》等經(jīng)典電影片段補(bǔ)充逼真的音效。
動(dòng)態(tài)音效匹配:精確重現(xiàn)李小龍的功夫音及雙節(jié)棍的聲音同步效果。
普通視頻增強(qiáng):對(duì)原有音頻較差的視頻添加符合語(yǔ)義和時(shí)間的高質(zhì)量音效,如旅行記錄、日常生活片段等。
● ?? 技術(shù)亮點(diǎn):生成一個(gè)8秒音頻僅需1.23秒,多模態(tài)聯(lián)合訓(xùn)練未影響其單模態(tài)任務(wù)表現(xiàn),甚至可以生成背景音樂和人聲。
● ?? 實(shí)際應(yīng)用:適用于內(nèi)容創(chuàng)作者、短視頻制作人和影視后期團(tuán)隊(duì),為視頻提供更生動(dòng)的表現(xiàn)力,顯著提升觀眾體驗(yàn)。
? 總結(jié):MMAudio為AI視頻生成注入了重要的聲音元素,不僅讓視聽同步生成成為可能,還降低了視頻音效制作的門檻,是AIGC領(lǐng)域的一大進(jìn)步。 聽播客時(shí)會(huì)下載音頻,用ASR轉(zhuǎn)為文字,用LLM提取播客關(guān)鍵信息。 或許大家也用得上,于是一個(gè)博主把蘋果播客下載做成了小工具。 LINK:https://otin.buzz
ASR: Whisper Transcription(蘋果商店應(yīng)用,免費(fèi)) 夸克(PC端內(nèi)置音頻ASR,需會(huì)員) https:///spaces/hf-audio/whisper-large-v3 https:///spaces/sanchit-gandhi/whisper-jax (HF spaces,免費(fèi)但體驗(yàn)欠佳) 某博主AI 寫了一個(gè)小紅書長(zhǎng)文排版圖片生成工具
輸入標(biāo)題和長(zhǎng)文內(nèi)容可以批量導(dǎo)出帶序號(hào)的 3:4 圖片
支持 Markdown 格式渲染
基于自己對(duì)爆款小紅書長(zhǎng)文內(nèi)容觀察和小紅書運(yùn)營(yíng)專家@王夢(mèng)珂Mengke 的建議搞得。
后續(xù)會(huì)加更多主題,每個(gè)元素都支持自定義是否顯示
目前有個(gè)比較大的問題是支持 markdown 渲染之后
分頁(yè)邏輯不夠精準(zhǔn),每頁(yè)的內(nèi)容不是多了就是少了
感覺這部分算法不是 AI 能夠搞定的
鏈接在這里將就用: https://lify.app/ Deepseek 公布了 V3 的測(cè)試報(bào)告和詳細(xì)訓(xùn)練論文,真的很牛批 他們自測(cè)的成績(jī)整體跟 GPT-4o 和 Claude 3.5 對(duì)齊了 海外社區(qū)普遍驚嘆他們用 Llama 405B 十分之一的算力成本訓(xùn)練了一個(gè)更大更強(qiáng)的模型 另外繼續(xù)卷價(jià)格45 天內(nèi),每百萬(wàn)輸入1 元,輸出 tokens 2 元 這個(gè)價(jià)格和這個(gè)質(zhì)量,麻了呀
DeepSeek V3 已經(jīng)可以在 Cursor 中使用
將 https: //openrouter.ai/api/v1 添加為 OpenAI Base URL 使用 deepseek/deepseek-chat 作為模型 在聊天中使用(不要在代碼編輯器中使用)
這里嘗試:https://chat./a/chat/ 對(duì)現(xiàn)在工作不滿意的朋友可以看看這個(gè)倉(cāng)庫(kù)??整理了國(guó)內(nèi)外遠(yuǎn)程工作列表:https://github.com/greatghoul/remote-working
|