ICML 2019最佳論文出爐，超高數(shù)學(xué)難度！ETH、谷歌、劍橋分獲大獎

taotao_2016 2019-06-12

展開全文

新智元原創(chuàng)

來源：Twitter、Reddit等

編輯：金磊、小芹

【新智元導(dǎo)讀】今日，國際機器學(xué)習(xí)頂會ICML公布2019年最佳論文獎：來自蘇黎世聯(lián)邦理工大學(xué)、谷歌大腦等的團隊和英國劍橋大學(xué)團隊獲此殊榮。另外，大會還公布了7篇獲最佳論文提名的論文。

ICML 2019最佳論文新鮮出爐！

今日，國際機器學(xué)習(xí)頂會ICML 2019于美國長灘市公布了本屆大會最佳論文結(jié)果：

本屆ICML兩篇最佳論文分別是：

《挑戰(zhàn)無監(jiān)督解耦表示中的常見假設(shè)》，來自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦；
《稀疏高斯過程回歸變分的收斂速度》，來自英國劍橋大學(xué)。

除此之外，大會還公布了七篇獲得提名獎(Honorable Mentions)論文。

據(jù)了解，今年ICML共提交3424篇論文，其中錄取774篇，論文錄取率為22.6%。錄取率較去年ICML 2018的25%有所降低。

論文錄取結(jié)果地址：

https:///Conferences/2019/AcceptedPapersInitial?fbclid=IwAR0zqRJfPz2UP7dCbZ8Jcy7MrsedhasX13ueqkKl934EsksuSj3J2QrrRAQ

提交論文最多的子領(lǐng)域分別是：深度學(xué)習(xí)、通用機器學(xué)習(xí)、強化學(xué)習(xí)、優(yōu)化等

最佳論文：大規(guī)模深入研究無監(jiān)督解耦表示

第一篇最佳論文的作者來自蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)、MaxPlanck 智能系統(tǒng)研究所及谷歌大腦。

論文標題：挑戰(zhàn)無監(jiān)督解耦表示中的常見假設(shè)

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem

論文地址：

http://proceedings./v97/locatello19a/locatello19a.pdf

這是一篇大規(guī)模深入研究無監(jiān)督解耦表示(Disentangled Representation)的論文，對近年來絕大多數(shù)的非監(jiān)督解耦表示方法進行了探索、利用 2.5GPU 年的算力在 7 個數(shù)據(jù)集上訓(xùn)練了 12000 多個模型?；诖笠?guī)模的實驗結(jié)果，研究人員對這一領(lǐng)域的一些假設(shè)產(chǎn)生了質(zhì)疑，并為解耦學(xué)習(xí)的未來發(fā)展方向給出了建議。此外，研究人員還同時發(fā)布了研究中所使用的代碼和上萬個預(yù)訓(xùn)練模型，并封裝了 disentanglement_lib 供研究者進行實驗復(fù)現(xiàn)和更深入的探索。

論文摘要

無監(jiān)督學(xué)習(xí)解耦表示背后的關(guān)鍵思想是，真實世界數(shù)據(jù)是由一些變量的解釋因子生成的，這些因子可以通過無監(jiān)督學(xué)習(xí)算法恢復(fù)。在本文中，我們認真回顧了該領(lǐng)域的最新進展，并對一些常見假設(shè)提出挑戰(zhàn)。

我們首先從理論上證明，如果沒有對模型和數(shù)據(jù)的歸納偏置，解耦表示的無監(jiān)督學(xué)習(xí)基本上是不可能的。然后，我們在7個不同數(shù)據(jù)集上訓(xùn)練了超過12000個模型，涵蓋了最重要的方法和評估指標，進行了可重復(fù)的大規(guī)模實驗研究。

我們觀察到，雖然不同的方法都成功地執(zhí)行了相應(yīng)損失“鼓勵”的屬性，但如果沒有監(jiān)督，似乎無法識別出良好解耦的模型。此外，增加解耦似乎不會降低下游任務(wù)學(xué)習(xí)的樣本復(fù)雜度。

我們的研究結(jié)果表明，未來關(guān)于解耦學(xué)習(xí)的工作應(yīng)該明確歸納偏見和(隱式)監(jiān)督的作用，研究強制解耦學(xué)習(xí)表示的具體好處，并考慮覆蓋多個數(shù)據(jù)集的可重復(fù)的實驗設(shè)置。

本文從理論和實踐兩方面對這一領(lǐng)域中普遍存在的一些假設(shè)提出了挑戰(zhàn)。本研究的主要貢獻可概括如下:

我們在理論上證明，如果沒有對所考慮的學(xué)習(xí)方法和數(shù)據(jù)集產(chǎn)生歸納偏置，那么解耦表示的無監(jiān)督學(xué)習(xí)基本上是不可能的。

我們在一項可重復(fù)的大規(guī)模實驗研究中研究了當前的方法及其歸納偏置，該研究采用了完善的無監(jiān)督解耦學(xué)習(xí)實驗方案。我們實現(xiàn)了六種最新的無監(jiān)督解耦學(xué)習(xí)方法以及六種從頭開始的解耦方法，并在七個數(shù)據(jù)集上訓(xùn)練了超過12000個模型。

我們發(fā)布了disentanglement_lib，這是一個用于訓(xùn)練和評估解耦表示的新庫。由于復(fù)制我們的結(jié)果需要大量的計算工作，我們還發(fā)布了超過10000個預(yù)訓(xùn)練的模型，可以作為未來研究的基線。

我們分析實驗結(jié)果，并挑戰(zhàn)了無監(jiān)督解耦學(xué)習(xí)中的一些共識：

(i)雖然所有考慮的方法都證明有效確保聚合后驗的各個維度不相關(guān)，我們觀察到的表示維度是相關(guān)的

(ii)由于random seeds和超參數(shù)似乎比模型選擇更重要，我們沒有發(fā)現(xiàn)任何證據(jù)表明所考慮的模型可以用于以無監(jiān)督的方式可靠地學(xué)習(xí)解耦表示。此外，如果不訪問ground-truth標簽，即使允許跨數(shù)據(jù)集傳輸良好的超參數(shù)值，似乎也無法識別良好訓(xùn)練的模型。

(iii)對于所考慮的模型和數(shù)據(jù)集，我們無法驗證以下假設(shè)，即解耦對于下游任務(wù)是有用的，例如通過降低學(xué)習(xí)的樣本復(fù)雜性。

基于這些實證證據(jù)，我們提出了進一步研究的三個關(guān)鍵領(lǐng)域：

(i)歸納偏置的作用以及隱性和顯性監(jiān)督應(yīng)該明確：無監(jiān)督模型選擇仍然是一個關(guān)鍵問題。

(ii) 應(yīng)證明強制執(zhí)行學(xué)習(xí)表示的特定解耦概念的具體實際好處。

(iii) 實驗應(yīng)在不同難度的數(shù)據(jù)集上建立可重復(fù)的實驗設(shè)置。

最佳論文：稀疏高斯過程回歸變分的收斂速度

第二篇最佳論文來自英國劍橋大學(xué)。

論文標題：《稀疏高斯過程回歸變分的收斂速度》

Rates of Convergence for Sparse Variational Gaussian Process Regression

作者：DavidR. Burt¹，Carl E. Rasmussen¹，Mark van der Wilk²

arXiv地址：

https:///pdf/1903.03571.pdf

論文摘要

自從許多研究人提出了對高斯過程后驗的變分近似法后，避免了數(shù)據(jù)集大小為N時 O(N³) 的縮放。它們將計算成本降低到O(NM²)，其中M≤N是誘導(dǎo)變量的數(shù)量。雖然N的計算成本似乎是線性的，但算法的真正復(fù)雜性取決于M如何增加以確保一定的近似質(zhì)量。

研究人員通過描述KL向后發(fā)散的上界行為來解決這個問題。證明了在高概率下，M的增長速度比N慢， KL的發(fā)散度可以任意地減小。

一個特別有趣的例子是，對于具有D維度的正態(tài)分布輸入的回歸，使用流行的 Squared Exponential 核M就足夠了。研究結(jié)果表明，隨著數(shù)據(jù)集的增長，高斯過程后驗可以真正近似地逼近，并為如何在連續(xù)學(xué)習(xí)場景中增加M提供了具體的規(guī)則。

總結(jié)

研究人員證明了稀疏GP回歸變分近似到后驗變分近似的KL發(fā)散的界限，該界限僅依賴于先驗核的協(xié)方差算子的特征值的衰減。

這些邊界證明了直觀的結(jié)果，平滑的核、訓(xùn)練數(shù)據(jù)集中在一個小區(qū)域，允許高質(zhì)量、非常稀疏的近似。這些邊界證明了用M≤N進行真正稀疏的非參數(shù)推理仍然可以提供可靠的邊際似然估計和點后驗估計。

對非共軛概率模型的擴展，是未來研究的一個有前景的方向。

DeepMind、牛津、MIT等7篇最佳論文提名

除了最佳論文外，本次大會還公布了7篇獲得榮譽獎的論文。

Analogies Explained: Towards Understanding Word Embeddings

作者：CarlAllen¹，Timothy Hospedales¹ ，來自愛丁堡大學(xué)。

論文地址：https:///pdf/1901.09813.pdf

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

作者：Po-WeiWang¹，Priya L. Donti^{1 2}，Bryan Wilder³，Zico Kolter^{1 4}，分別來自卡耐基梅隆大學(xué)、南加州大學(xué)、Bosch Center for Artificial Intelligence。

論文地址：https:///pdf/1905.12149.pdf

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

作者：Umut ?im?ekli^?，L, event Sagun^?, Mert Gürbüzbalaban^?，分別來自巴黎薩克雷大學(xué)、洛桑埃爾科爾理工大學(xué)、羅格斯大學(xué)。

論文地址：https:///pdf/1901.06053.pdf

Towards A Unified Analysis of Random Fourier Features

作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic，分別來自牛津大學(xué)、倫敦國王學(xué)院。

論文地址：https:///pdf/1806.09178.pdf

Amortized Monte Carlo Integration

作者：Adam Golinski、Yee Whye Teh、Frank Wood、Tom Rainforth，分別來自牛津大學(xué)和英屬哥倫比亞大學(xué)。

論文地址：http://www.gatsby./~balaji/udl-camera-ready/UDL-12.pdf

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas，分別來自MIT媒體實驗室、DeepMind和普林斯頓大學(xué)。

論文地址：https:///pdf/1810.08647.pdf

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

作者：Wouter Kool, Herke van Hoof, Max Welling，分別來自荷蘭阿姆斯特丹大學(xué)，荷蘭ORTEC和加拿大高等研究所(CIFAR)。

論文地址：https:///pdf/1903.06059.pdf

ICML 2019:谷歌成為最大贏家，清北、南大港中文榜上有名

本次大會還統(tǒng)計了收錄論文的領(lǐng)域分布情況：