一種架構(gòu)來完成所有任務(wù)—Transformer架構(gòu)正在以一己之力統(tǒng)一AI江湖

語言模型，圖像、視頻方面這一年都被Transformer架構(gòu)同時(shí)刷新了模型規(guī)模和性能基準(zhǔn)。這里還是要說到Transformer的各類變體在這一年中大放異彩，同時(shí)在NLP和CV領(lǐng)域頻頻刷榜。

近些年，transformer架構(gòu)逐漸將其影響范圍擴(kuò)展到各種新領(lǐng)域。最初，Transformers是為自然語言處理而開發(fā)的，現(xiàn)在正在成為深度學(xué)習(xí)的瑞士軍刀。 2021 年，它們被用來發(fā)現(xiàn)藥物、識別語音和繪畫等任務(wù)上。

transformers已經(jīng)證明擅長視覺任務(wù)、預(yù)測地震以及分類和生成蛋白質(zhì)。在過去的一年里，研究人員將它們推向了廣闊的新領(lǐng)域。

TransGAN：TransGAN 是一個(gè)生成對抗網(wǎng)絡(luò)，它結(jié)合了transformer以確保每個(gè)生成的像素與其之前生成的像素一致。這項(xiàng)工作在測量生成的圖像與訓(xùn)練數(shù)據(jù)的相似程度方面取得了最先進(jìn)的結(jié)果。

TimeSformer：Facebook 的 TimeSformer 使用該架構(gòu)來識別視頻剪輯中的動(dòng)作。它解釋視頻幀的序列，而不是文本中通常的單詞序列。它的性能優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)，可以在更短的時(shí)間內(nèi)分析更長的剪輯片段，并使用更少的功率。

GPT-2：Facebook、Google和加州大學(xué)伯克利分校的研究人員在文本上訓(xùn)練了 GPT-2，然后凍結(jié)了它的自注意力和前饋層。他們能夠針對各種領(lǐng)域進(jìn)行微調(diào)，包括數(shù)學(xué)、邏輯問題和計(jì)算機(jī)視覺。

AlphaFold 2：DeepMind 發(fā)布了 AlphaFold 2 的開源版本，它使用transformer根據(jù)氨基酸序列找到蛋白質(zhì)的 3D 形狀。該模型激發(fā)了醫(yī)學(xué)界的興趣，因?yàn)樗哂型苿?dòng)藥物發(fā)現(xiàn)和揭示生物學(xué)見解的潛力。

Vision Transformer(ViT)以及Video ViT：

Transformer 于 2017 年首次亮相，并迅速改變了語言建模。它的自注意力機(jī)制跟蹤序列中的每個(gè)元素與其他每個(gè)元素的關(guān)系，不僅適合分析單詞序列，還適合分析像素、視頻幀、氨基酸、地震波等序列?；趖ransformer的大型語言模型已成為新興基礎(chǔ)模型品種的示例——在大型未標(biāo)記語料庫上預(yù)訓(xùn)練的模型，可以針對有限數(shù)量的標(biāo)記示例對專門任務(wù)進(jìn)行微調(diào)。transformer在各種領(lǐng)域都能很好地工作的事實(shí)，可能預(yù)示著超越語言的基于transformer的基礎(chǔ)模型。

???深度學(xué)習(xí)的歷史已經(jīng)見證了一些迅速普及的想法：ReLU 激活函數(shù)、Adam 優(yōu)化器、注意力機(jī)制和現(xiàn)在的transformer。過去一年的發(fā)展表明，這種架構(gòu)仍在發(fā)揮作用。

參考文章：https：//read.deeplearning.ai/the-batch/issue-123/