|
我們都知道谷歌有龐大的研究機構規(guī)模，谷歌的研究人員們有的從事算法理論研究、有的從事算法應用研究，而在兩個方向中，谷歌都是重要的中堅力量，每年都會產(chǎn)出許多前瞻性的、或者帶來重大改進的、或者有很高應用價值的研究成果。
以谷歌 AI 為核心的谷歌研究院的目標就正是“研究長期的、有重大意義的問題，其中重點關注那些能給普通大眾帶來更好生活的問題”。2019 年結束以后，谷歌研究院副總裁、谷歌技術傳奇人物 Jeff Dean 和往年一樣執(zhí)筆（鍵盤）寫下了谷歌研究院2019年的年終總結。在這一年中，谷歌在醫(yī)療、機器人等新興領域做出了大量技術應用成果，也給谷歌的產(chǎn)品線增加了許多新成員、新功能。 Jeff Dean的年終總結中同時涵蓋了許多產(chǎn)品開發(fā)和學術研究成果，我們更關注其中的學術研究成果，這篇文章就把這些學術研究成果翻譯介紹如下。如果量子計算機投入使用，它將可以大大簡化材料科學、量子化學、大規(guī)模優(yōu)化等問題的難度。不過目前距離那一步還有很遠的距離，我們需要繼續(xù)做出努力，推動這個領域前進。谷歌的下一個研究重點是在量子計算中實現(xiàn)量子糾錯，這樣可以運行耗時更久的運算。除此之外，谷歌還在研究如何讓量子算法更容易表達、如何讓硬件更容易控制，而且他們已經(jīng)發(fā)現(xiàn)了可以借助深度強化學習之類的機器學習方法，來幫助構建更可靠的量子處理器。2019年的這些量子計算研究成果給人帶來很多激勵，也是讓量子計算更成熟、能解決世界中的真實問題的早期探索。在通用算法和理論方面，我們繼續(xù)開展從算法基礎到應用的研究，同時，也做了一些關于圖挖掘和市場算法的工作。我們在《圖學習算法概述》這篇博客中詳細介紹了這項工作。https://ai./2019/06/innovations-in-graph-representation.html
VLDB 2019 上，我們發(fā)表了一篇論文，標題是《Cache-aware load balancing of data center applications》，它還有一個備選標題——《Increase the serving capacity of your data center by 40% with this one cool trick》。這篇論文描述了我們?nèi)绾卫脠D的均衡分割來專門化網(wǎng)絡搜索后端服務系統(tǒng)的緩存，從而同樣的閃存存儲能夠支持的查詢流量提升了 48%，這讓整個搜索后端能支持的查詢流量提升了40%。 在 ICLR 2019 的論文《A new dog learns old tricks: RL finds classic optimization algorithms》中，我們發(fā)現(xiàn)了算法和機器學習之間的新的聯(lián)系，這也顯示了強化學習是如何有效地為線上匹配和分配此類經(jīng)典的線上優(yōu)化組合問題，找到最優(yōu)（在最壞的情況下，一致的）算法。 我們在可伸縮算法方面的工作涵蓋了大數(shù)據(jù)集的并行、在線和分布式算法：第一，在最近發(fā)表的FOCS 2019 論文《Near-Optimal Massively Parallel Graph Connectivity》中，我們提供了一個接近最優(yōu)的大型平行計算算法來連接這些部分；第二，我們還發(fā)表了另一組論文《Coresets Meet EDCS: Algorithms for Matching and Vertex Cover on Massive Graphs》、《Distributed Weighted Matching via Randomized Composable Coresets》、《Improved Parallel Algorithms for Density-Based Network Clustering》，在理論和實踐中改進了匹配的平行算法的同時，也改進了密度聚類的平行算法；第三，我們還開展了關于黑箱模型中自適應優(yōu)化子模塊函數(shù)的工作（《Categorical Feature Compression via Submodular Optimization》），這項工作目前已在特征選擇和詞匯壓縮等方面得到了一些應用。我們還在一篇 SODA 2019 《Submodular Maximization with Nearly Optimal Approximation, Adaptivity and Query Complexity》論文中，提出了一個子模塊最大化算法，它在近似因子、循環(huán)復雜度和查詢復雜度這三個方面幾乎都是最優(yōu)的。另外，在另一篇FOCS 2019 論文《Residual Based Sampling for Online Low Rank Approximation》中，我們提供了首個針對PCA（主成分分析）和列子集選擇問題的在線乘法近似算法。我們在其他的一些工作中，還引入半在線計算模型，假設未知的未來包括一個可預測的部分和一個對抗的部分。對于經(jīng)典的組合問題，如二部圖匹配和緩存，我們通過使用半在線算法，來確?？梢栽诳赡茏詈玫脑诰€和離線算法之間流暢地插值。 在市場算法方面，我們最近的研究工作包括，全新地理解了學習和市場之間的相互作用，并在實驗設計上實現(xiàn)了創(chuàng)新。例如，我們在《Strategizing against No-regret Learners》這篇 NeurIPS 2019 Oral 論文中，揭示了策略型智能體在常見的重復兩人游戲中與一個學習智能體比賽時，具有令人驚訝的競爭優(yōu)勢。我們最近聚焦于廣告自動化方面的研究工作，增加了我們對于自動競價和理解廣告商的反饋行為的興趣。在一組 WINE 2019 論文《Response Prediction for Low-Regret Agents》、《Autobidding with Constraints》中，我們研究了最大化代表廣告商的對話的最優(yōu)策略，以及進一步學習拍賣過程中廣告商發(fā)生任何變化的反饋行為。同時，我們還研究了存在干預行為的實驗設計，在此干預下，某一方的行為可能會影響另一方法的結果。我們在一篇 KDD 2019 論文《Randomized Experimental Design via Geographic Clustering》和一篇 NeurIPS2019 論文《Variance Reduction in Bipartite Experiments through Correlation Clustering》中，展示了如何在保持實驗效果的同時，定義單元以及單元群來限制干預。2019年，我們在機器學習算法的許多領域都進行了探索，一個工作重點是了解神經(jīng)網(wǎng)絡中的訓練動力學的性質。在《 Measuring the Limits of Data Parallel Training for Neural Networks》一文中，我們提出了一組實驗，表明（通過批量）擴展數(shù)據(jù)并行量可以有效使模型收斂更快。 與將數(shù)據(jù)分布在多個計算設備中的數(shù)據(jù)并行性相比，模型并行性也是擴展模型的一種有效方法。GPipe是一個通過類似于流水線CPU處理器所使用的方法的庫，它可以使模型并行化更加有效：當整個模型的一部分正在處理某些數(shù)據(jù)時，其他部分可以并行計算不同的數(shù)據(jù)。這種流水線的結果可以組合在一起，從而來模擬更大的有效批次大小。當機器學習模型能從原始數(shù)據(jù)輸入中學習到較高級別的“經(jīng)過解耦”的表征，而且這些表征就是我們希望模型能分辨的屬性（貓vs卡車vs牛羚，癌組織vs正常組織）時，機器模型就能發(fā)揮出很好的效果。推進機器學習算法的重點，主要是鼓勵學習更好的表示形式，這些表示形式可以更好地推廣到新的樣本、問題或領域。2019年，我們在許多不同的背景下研究了這個問題：1、《Evaluating the Unsupervised Learning of Disentangled Representations》在這篇文章中，我們檢查了哪些屬性會影響從無監(jiān)督數(shù)據(jù)中學習的表示形式，以便更好地理解什么才能造就良好的表示和有效的學習。2、《Predicting the Generalization Gap in Deep Neural Networks》在這篇文章中，我們表明可以使用邊緣分布的統(tǒng)計來預測泛化差距（模型在數(shù)據(jù)上的性能來自訓練數(shù)據(jù)的分布與其他數(shù)據(jù)分布之間的差距），這有助于我們可以更好地了解哪種模型能夠更有效地泛化。3、 《Learning to Generalize from Sparse and Underspecified Rewards》 在這篇文章中，我們研究了為強化學習指定獎勵功能的方法，這些方法使學習系統(tǒng)可以更直接地從真實目標中學習，且不會因較長的、不理想的動作序列而分心。AutoML，可以使學習算法實現(xiàn)自動化，并且在某些類型的機器學習元決策方面，與最好的人類機器學習專家相比，通?？梢匀〉酶玫慕Y果。2019年我們繼續(xù)這樣方面的研究。1、《EfficientNet: Improving Accuracy and Efficiency through AutoML and Model Scaling》在這篇文章中，我們展示了如何將NAS技術應用到CV問題上，從而獲得更好的結果，包括在ImageNet上獲得最佳結果（84.4% top-1的準確度），且參數(shù)相較于此前最先進的模型少了8倍。 2、《EfficientNet-EdgeTPU: Creating Accelerator-Optimized Neural Networks with AutoML》這項工作，我們展示了神經(jīng)NAS方法如何找到針對特定硬件加速器的高效模型，從而能夠在移動設備上運行高精度、低計算量的模型。3、 《Video Architecture Search》
這篇文章，我們描述了如何將AutoML工作擴展到視頻模型的領域，如何找到可實現(xiàn)最新結果的體系結構，以及與手工模型的性能相匹配但計算量減少50倍的輕型體系結構。4、《 An End-to-End AutoML Solution for Tabular Data at KaggleDays》我們開發(fā)了用于表格數(shù)據(jù)的AutoML技術，許多公司和組織在關系數(shù)據(jù)庫中都擁有一些非常有趣的數(shù)據(jù)，并且經(jīng)常希望能夠基于這些數(shù)據(jù)來開發(fā)機器學習模型，我們這項工作解鎖了這個新的領域。我們將這項技術作為一個谷歌云 AutoML Tables的產(chǎn)品進行了發(fā)布。（劇透一下：AutoML Tables在74個專家數(shù)據(jù)科學家團隊中獲得了第二名的排名）。5、《Exploring Weight Agnostic Neural Networks》在這篇論文中，我們展示了如何不需要任何訓練步驟，便可以更新有趣的神經(jīng)網(wǎng)絡架構，從而來更新評估模型的權重。這個工作可以使體系結構搜索的計算效率提高。6、《Applying AutoML to Transformer Architectures 》這篇論文探索了用于NLP任務的體系結構，這個結構在性能上遠超最初的Transformer模型，大大降低了計算成本。 7、《SpecAugment: A New Data Augmentation Method for Automatic Speech Recognition》這里我們將自動學習數(shù)據(jù)增強方法擴展到語音識別模型當中。與現(xiàn)有的「ML專家」驅動的數(shù)據(jù)增強方法相比，所學習的增強方法可以用更少的數(shù)據(jù)實現(xiàn)更高的準確性。8、《keyword spotting and spoken language identification using AutoML》
我們推出了第一款語音應用程序，使用AutoML進行關鍵字識別和口語識別。在我們的實驗中，我們發(fā)現(xiàn)了一種比人工設計更好的模型（效率更高，性能更高）。在過去的幾年中，自然語言理解、翻譯、對話、語音識別和其他一些相關任務的模型都取得了顯著的進步。2019年，我們工作的主題之一是通過結合各種方式或任務來提高技術水平，以訓練出更強大的模型。下面是一些研究案例： 1、《Exploring Massively Multilingual, Massive Neural Machine Translation》
在這項工作中，我們訓練了一個模型，能夠在100種語言之間進行翻譯（注意并不是 100 個單獨的模型），這個模型能夠顯著提高翻譯質量。2、《Large-Scale Multilingual Speech Recognition with a Streaming End-to-End Model》
在這篇論文中，我們展示了將語音識別和語言模型結合在一起，并在多種語言上進行訓練，結果可以顯著提高語音識別精度。
3、《 Translatotron: An End-to-End Speech-to-Speech Translation Model》
在這個工作中，我們證明了可以訓練一個聯(lián)合模型來很好地（通常是分別）完成語音識別、翻譯和文本到語音生成的任務，例如在生成的翻譯音頻中保留說話者的聲音。 4、《Multilingual Universal Sentence Encoder for Semantic Retrieval》
在這篇論文中，我們展示了如何將許多個不同的目標組合在一起，從而得到一個在語義檢索方面更好的模型（相較于簡單的單詞匹配技術）。例如在Google Talk to Books中，查詢“What fragrance brings back memories?”，得出的結果是：“And for me, the smell of jasmine along with the pan bagnat, it brings back my entire carefree childhood.” 5、《Robust Neural Machine Translation 》
在這篇論文中，我們用對抗程序顯著地提高了語言翻譯的質量和魯棒性。隨著對seq2seq、Transformer、BERT、Transformer-XL和ALBERT模型等的研究，我們的語言理解能力不斷得以提升，這些技術都相繼應用在我們的核心產(chǎn)品或功能中（例如Google Translate、Gmail、谷歌搜索等）。2019年，我們將BERT嵌入在我們的核心搜索和排名算法當中，實現(xiàn)了在過去五年中搜索質量最大的改進（也是有史以來最大的改進之一）。在過去的十年中，用來理解靜止圖像的模型有了翻天覆地的進展。下一個重大研究前沿就是要理解動態(tài)變化的世界，而且要有更細的粒度、更多的細節(jié)。這不僅包括對圖像和視頻有更細致的理解，也包括要有實時的、符合情境的感知；這代表著，理解世界的速度要足夠快，要來得及和世界互動，同時也要設身處地地理解用戶所在的空間位置。2019年中，谷歌探索了這個領域中的許多方面，包括：- Lens app 中的細粒度視覺理解，它讓視覺搜索功能變得更強大
- 智能照相功能，比如 Quick Gestures 擺姿勢照相、Face Match 人臉匹配以及Nest Hub Max上的智能視頻通話
- Lens app 能實時感知空間信息，就可以用現(xiàn)實增強為用戶提供幫助
- 通過時序循環(huán)一致性學習進行的細粒度時序視頻理解中也有了更好的表征
- 從無標注視頻中學習時序一致的、包括了文本、聲音、視頻多種模態(tài)的表征
- 能觀察已經(jīng)發(fā)生的視頻預測未來的視覺圖像
- 能更好地理解視頻中的動作序列的模型，在谷歌相冊中使用以后能更好地追蹤吹蠟燭、滑雪之類的特別瞬間
用機器學習技術來控制機器人是我們非常重視的一個研究方向。我們相信這是讓機器人能在復雜的真實世界環(huán)境（比如辦公室、家里）里有效運行的必不可少的手段。2019 年中，我們的相關研究成果包括：1、《Long-Range Robotic Navigation via Automated Reinforcement Learning》論文展示了可以把強化學習和長距離規(guī)劃結合在一起，讓機器人更高效地在復雜環(huán)境中導航（下圖中的例子是谷歌的辦公樓）2、《PlaNet: A Deep Planning Network for Reinforcement Learning》論文展示了如何僅僅從圖像像素中高效地學習世界模型，以及如何利用這個模型學到的世界運行的知識，以便用更短的學習過程掌握各種任務。3、《Unifying Physics and Deep Learning with TossingBot》論文表明機器人可以通過在環(huán)境中的反復嘗試學習到“直覺式”的物理知識，可以不需要先通過編程的方式為他們輸入環(huán)境信息和物理規(guī)律。4、《Soft Actor-Critic: Deep Reinforcement Learning for Robotics》論文展示了一種可以同時讓預期回報（標準的強化學習策略）和策略的熵（讓智能體學到更隨機的行動）最大化的強化學習算法，可以讓智能體學習得更快，而且對環(huán)境中的變化更魯棒。5、《Learning to Assemble and to Generalize from Self-Supervised Disassembly》論文中，機器人可以用自監(jiān)督的方式先學會如何拆解東西，然后再學會如何組裝，就和小孩拆東西裝東西一樣。谷歌還開發(fā)了低成本機器人測試平臺 ROBEL，幫助學術研究人員和企業(yè)開發(fā)人員更便捷地開發(fā)真實世界中工作的機器人硬件。八、為整個開發(fā)和學術研究界的發(fā)展提供助力“開源”并不僅僅代表著代碼，更重要的是社區(qū)中做出貢獻的人。對于整個開源大家庭來說，2019年有許多值得慶祝的時刻。在這一年中，我們正式發(fā)布了TensorFlow2.0，這是目前最大最先進的TensorFlow，它也讓機器學習系統(tǒng)、應用的構建前所未有地簡單；我們在TF Lite中加入了GPU硬件推理的支持；我們還發(fā)布了 Teachable Machine 2.0，這是一個基于網(wǎng)頁的快捷、便于使用的工具，不需要敲代碼，只需要點點鼠標就可以訓練機器學習模型。我們也發(fā)布了 MLIR，這是一個開源的機器學習算法編譯器，作為一個基礎設施，它的設計目標是緩解軟件、硬件日趨明顯的碎片化現(xiàn)象，讓AI應用的構建更容易。 這也是高性能機器學習研究工具 JAX 發(fā)布后的第一年。就在NeurIPS 2019上，我們和更多的開源社區(qū)成員們展示了從 NTK 神經(jīng)正切核到貝葉斯推理到分子動力學等等各種各樣的使用JAX開發(fā)的模型，我們也發(fā)布了云TPU上運行的JAX的預覽版。 我們也開源了用來構建多模態(tài)感知機器學習應用流水線的框架設計工具MediaPipe，和含有各種高效的浮點神經(jīng)網(wǎng)絡推理操作符的庫 XNNPACK。截止2019年底，我們已經(jīng)通過TensorFlow Research Cloud贊助了超過1500名研究人員免費使用云TPU。我們的TensorFlow入門Coursera課程也迎來了超過10萬名學生。我們在11個不同國家舉辦了TensorFlow推廣活動，借機接觸了上千名用戶；我們還舉辦了首個TensorFlow世界大會。 在TF的幫助下，全世界各種各樣背景的人也做出了各種各樣的成果，2019年里有一位大學本科生發(fā)現(xiàn)了兩個新的行星，他也開源了這個模型，讓更多的人可以用這個方法發(fā)現(xiàn)更多的行星；一位尼日利亞裔的數(shù)據(jù)科學家訓練了一個GAN來生成代表了非洲面具風格的圖像；烏干達的一位開發(fā)者用TF編寫了Farmers Companion app，幫助當?shù)剞r(nóng)民對付一種傷害莊稼的毛毛蟲。 在白雪覆蓋的愛荷華州，研究人員們和政府部門聯(lián)手用TF編寫了根據(jù)車流行為、視覺數(shù)據(jù)以及其它數(shù)據(jù)判斷道路安全狀況的程序；在晴朗干燥的加州，大學生們也用TF來發(fā)現(xiàn)洛杉磯一帶的路面凹坑和危險碎石。具有明確和可測量目標的開放數(shù)據(jù)集，往往對推動機器學習領域的發(fā)展非常有幫助。為了幫助研究界找到有趣的數(shù)據(jù)集，我們繼續(xù)通過使用Google Dataset Search索引了來自多個不同組織發(fā)布的各種公開的數(shù)據(jù)集。我們還認為很重要的是，要為社區(qū)創(chuàng)建新的數(shù)據(jù)集用以探索和開發(fā)新的技術，并確保能夠有責地共享公開的數(shù)據(jù)集。這一年，我們先后新發(fā)布了涵蓋多個不同領域的數(shù)個公開數(shù)據(jù)集：Open Images V5：這是常用的Open Images數(shù)據(jù)集的更新版本，包括面向 350 個類中的280萬個對象的分割掩膜（所以現(xiàn)在該數(shù)據(jù)集擁有圖片級標簽、對象邊框、對象分割掩膜和視覺關系標注的 900 萬張圖像）。 Natural questions：這是首個使用自然發(fā)出的查詢，并通過讀取整個篇章找到答案而非從短段落中提取答案的數(shù)據(jù)集。Data for deepfake detection：我們?yōu)?FaceForensics 基準貢獻了視覺 deepfakes 的大型數(shù)據(jù)集（如上文所提到的）。 Google Research Football: 這是一個新穎的強化學習環(huán)境，在此環(huán)境中，智能體的目標就是掌握世界上最熱門的運動——足球。強化學習智能體要實現(xiàn)其目標，實現(xiàn)足球射門的目標很重要！Google-Landmarks-v2：該數(shù)據(jù)集擁有超過 200萬個不同路標的超過500萬張圖片（是發(fā)布的首個版本的兩倍）。YouTube-8M Segments：這是一個分類和實時間定位的大型數(shù)據(jù)集，擁有 YouTube-8M視頻的5秒分割級的人工驗證標簽。Atomic Visual Actions (AVA) Spoken Activity：這是一個用于對話感知的音頻+視覺的多模態(tài)數(shù)據(jù)集。此外，我們還面向 AVA 動作識別和 AVA: Spoken Activity 數(shù)據(jù)集舉辦了一些學術挑戰(zhàn)賽。 PAWS and PAWS-X：為了推動復述識別的進步，這兩個數(shù)據(jù)集都包括了具有高詞匯重疊的格式正確的句對，復述約一半的句對，而另一半則不復述。Natural language dialog datasets：CCPE 和 Taskmaster-1都使用讓兩個人一組進行口語對話的 Wizard-of-Oz平臺，來最小化數(shù)字助理的對話水平和人類的差距。The Visual Task Adaptation Benchmark：VTAB這一基準遵循和ImageNet和 GLUE相同的準則，但是它基于的一個原則是：在域內(nèi)數(shù)據(jù)的限制下，未見過任務上更好的性能優(yōu)先于更好的表征。 Schema-Guided Dialogue Dataset：這是最大的面向任務的對話公開語料庫，擁有橫跨17個領域的18000多組對話。2019年，我們也活躍于更廣闊的學術界和研究界。這一年，谷歌研究人員發(fā)表了數(shù)百篇論文，參加了多場學術會議，并獲得了許多獎項和其他榮譽：- 在CVPR 上，谷歌研究者展示了40余篇論文、演講、海報并舉辦了研討會以及其他活動。
- 在 ICML上，谷歌研究者展示了100余篇論文、演講、海報并舉辦了研討會以及其他活動。
- 在ICLR 上，谷歌研究者展示了60余篇論文、演講、海報并舉辦了研討會以及其他活動。
- 在ACL 上，谷歌研究者展示了40余篇論文，舉辦了研討會以及教學講座。
- 在Interspeech 上，上百位谷歌研究者在現(xiàn)場一起展示了30余篇論文。
- 在ICCV 上，200多位谷歌研究者在現(xiàn)場一起展示了40余篇論文，更有數(shù)位谷歌研究人員拿下 ICCV 三個獎項。
- 在NeurIPS上，500多位谷歌研究人員合作發(fā)表了超過 120 篇論文，并在現(xiàn)場參加了各類研討會和其他活動。
我們還召集了來自全球各地的數(shù)百名谷歌研究人員和教職員工，參加了在谷歌辦公室舉辦的15個獨立的研究研討會。這些研討會的主題涵蓋了從改善全球洪災預警，到如何使用機器學習建立能更好地為殘疾人服務的系統(tǒng)，到加速開發(fā)用于有噪聲的中等規(guī)模量子（NISQ）處理器的算法、應用程序和工具。 為了支持谷歌以外的學術界和研究界，我們通過“年度博士獎學金計劃”在全球范圍內(nèi)支持了50多名博士生，與此同時，我們還成立了158個項目基金作為“2018年谷歌職工研究獎”的一部分，并舉辦了第三屆“ Google AI Residency Program”，還為人工智能初創(chuàng)企業(yè)提供了指導幫助。過去的十年見證了機器學習和計算機科學領域的長足發(fā)展，我們現(xiàn)在已經(jīng)讓計算機有了比以前更好的看、聽和理解語言的能力（更多詳細可參考《The Decade of Deep Learning》一文，https://v/2019/12/31/The-Decade-of-Deep-Learning/ 現(xiàn)在我們擁有了唾手可得的先進的計算設備，從而可以利用這些能力更好地幫助我們完成日常生活中的許多任務。我們通過開發(fā)出專門的硬件，已經(jīng)圍繞這些機器學習方法從根本上重新設計了現(xiàn)有的計算平臺，從而使我們能夠解決更大的問題。這改變了我們對于既存在于數(shù)據(jù)中心、同時也搭載于低功耗移動環(huán)境中的計算設備的看法（前者如以推理為中心的TPUv1和以訓練和推理為中心的TPUv2和TPUv3，后者如邊緣 TPU）。深度學習革命將繼續(xù)重塑我們對計算和計算機的看法。與此同時，現(xiàn)在也還有許多我們尚且無法回答的問題以及尚未解決的挑戰(zhàn)。以下是我們在 2020年及以后要解決的一些問題以及感到興奮的一些研究方向：第一，如何建立能夠處理數(shù)百萬任務并且能夠主動學習順利完成新任務的機器學習系統(tǒng)？ 目前，我們基本上都需要為每個新任務訓練單獨的機器模型，從頭開始或者頂多基于為一個或幾個高度相關的任務訓練的模型開始。因此，我們訓練的模型雖然確實擅長某個任務或者某幾個任務，但并不擅長其他任務。然而，我們真正想要訓練的模型，是那些善于利用它們的專業(yè)知識來完成很多任務的模型，這樣這些模型就能夠學會用相對較少的訓練數(shù)據(jù)和計算，來完成一個新的任務。這是一個真正的巨大挑戰(zhàn)，需要具備橫跨包括固態(tài)電路設計、計算機體系結構、以ML為中心的編譯器、分布式系統(tǒng)、機器學習算法在內(nèi)的多個領域的專業(yè)知識和進展以及其他多個領域的領域專家，來開發(fā)出具備能夠獨立解決整個應用領域中的新任務的泛化能力的系統(tǒng)。第二，如何推動如避免偏見、增加可解釋性和可理解性、改善隱私和確保安全等當前非常重要的 AI 研究領域的進步？隨著我們?nèi)祟愒谏鐣显絹碓蕉嗟厥褂脵C器學習，這些領域的進步將是至關重要的。 第三，如何應用計算和機器學習來促進重要的新科學領域的進展？AI 領域通過與例如氣候科學、醫(yī)療健康、生物信息學和許多其他領域的專家進行精誠合作，可以獲得一些重要進展。 第四，如何才能確保機器學習和計算機科學研究界所追求的理念和方向，是由多種多樣的研究人員共同提出和探索的？計算機科學和機器學習研究界正在從事的工作，對數(shù)十億人都有著廣泛的影響，我們希望從事 AI 領域的研究人員能夠代表世界上所有人的經(jīng)歷、觀點、關注點和創(chuàng)造熱情。那我們?nèi)绾尾拍茏詈玫刂С謥碜圆煌尘暗男卵芯咳藛T進入該領域呢？總而言之，2019年對于谷歌和整個研究界而言，是研究工作取得巨大進展的令人興奮的一年。我們很高興將在 2020 年以及以后繼續(xù)迎接這些研究挑戰(zhàn)，也期待能夠與大家分享我們后續(xù)的研究進展。
|
