|
但是，你可以從哪里獲得這些數據？現在你看到的很多研究論文都使用專有的數據集，而它們通常不會公開。如果你想學習并應用你新掌握的技能，從哪里獲得數據集成了問題。 如果你有這個問題，別擔心，我們策劃了一系列公開可用的數據集列表以供所有人使用。 在本文中，我們列出了一系列高質量的數據集，每個深度學習愛好者都應該試著使用它們改進技能。完成處理這些數據集后，你就可以成為一名更好的數據科學家，而且你從中獲得的知識將在你的職業(yè)生涯中發(fā)揮無可估量的價值。我們還收錄了最新的技術成果（state-of-the-art ，SOTA)，供你參考并改進模型。 更多干貨內容請關注微信公眾號“AI 前線”，（ID：ai-front） 首先，這些數據集的規(guī)模巨大！所以請確保你有網絡連接順暢，下載空間足夠大。 這些數據集可以用于各種目的，你可以將之應用于各種深度學習技術，磨練技能，了解如何識別和構建每個問題，或和大家分享你的成果。 這些數據集分為三類： 圖像處理、自然語言處理和音頻 / 語音處理。 開始探索吧！ https://datahack./contest/practice-problem-identify-the-digits/ MNIST 是最受歡迎的深度學習數據集之一。這是一個手寫數字數據集，包含一組 60,000 個示例的訓練集和一個包含 10,000 個示例的測試集。這個數據庫在實際數據中嘗試學習技術和深度識別模式方面非常好用，同時可以在數據預處理花費最少的時間和精力。 大?。?50 MB 記錄數量：10 種類別的 70,000 張圖片 SOTA：膠囊之間的動態(tài)路由（https:///pdf/1710.09829.pdf） http:///#home COCO 是一個用于物體檢測、分割和字幕的大型、豐富的數據集，它有幾個特點：
大?。?25 GB（壓縮） 記錄數量：330K 張圖像，80 個對象類別，每幅圖像 5 個字幕，25 萬個關鍵點 SOTA：Mask R-CNNhttps:///pdf/1703.06870.pdf http://www./ ImageNet 是根據 WordNet 層次結構組織的圖像數據集。WordNet 包含大約 100,000 個短語，ImageNet 平均用 1000 張圖像來說明每個短語。 大?。?150GB 記錄數量：圖像總數：約 1,500,000；每張圖像都有多個邊界框和相應的類標簽。 SOTA：深度神經網絡的聚合殘差轉換（Aggregated Residual Transformations for Deep Neural Networks）https:///pdf/1611.05431.pdf https://github.com/openimages/dataset Open Images 是一個包含近 900 萬個圖像 URL 的數據集。這些數千萬種類別的圖像已經用圖像級標簽邊框進行了注釋。該數據集包含 9,011,219 張圖像的訓練集，41,260 張圖像的驗證集以及 125,436 張圖像的測試集。 大?。?00 GB（壓縮） 記錄數量：9,011,219 張超過 5k 個標簽的圖像 SOTA：Resnet 101 圖像分類模型（在 V2 數據上訓練）：模型檢查點，檢查點自述文件，推理代碼。https://www./blog/2018/03/comprehensive-collection-deep-learning-datasets/ http://www./ VQA 是一個包含有關圖像的開放式問題的數據集，這些問題需要理解視覺和語言。該數據集的一些有趣的特點是：
大?。?5 GB（壓縮） 記錄數量：265,016 張圖片，每張圖片至少有 3 個問題，每個問題有 10 個合理答案 SOTA：視覺問答的技巧和訣竅：從 2017 年挑戰(zhàn)賽中學習https:///abs/1708.02711 http://ufldl./housenumbers/ 這是用于開發(fā)對象檢測算法的真實世界圖像數據集。它需要很少的數據預處理，與本列表中提到的 MNIST 數據集類似，但具有更多標簽數據（超過 600,000 張圖像）。這些數據是從谷歌街景中查看的房屋號碼中收集的。 大?。?.5 GB 記錄數量：10 種類別的 6,30,420 張圖片 SOTA：虛擬對抗訓練的分布平滑https:///pdf/1507.00677.pdf http://www.cs./~kriz/cifar.html 這仍然是一個圖像分類數據集，它由 10 個類的 60,000 張圖像組成（每個類在上圖中表示為一行），總共有 50,000 張訓練圖像和 10,000 張測試圖像。數據集分為 6 個部分，其中有 5 個訓練集和 1 個測試集。每個數據集包含 10,000 張圖像。 大?。?70 MB 記錄數量：10 種類別的 60,000 張圖片 SOTA：ShakeDrop 正則化https:///pdf?id=S1NHaMW0b https://github.com/zalandoresearch/fashion-mnist Fashion-MNIST 包含 60,000 個訓練圖像和 10,000 個測試圖像，是一個類似 MNIST 的時尚產品數據庫。開發(fā)人員認為 MNIST 已被過度使用，因此他們創(chuàng)建了該數據集作為 MNIST 的直接替代品。每張圖片都以灰度顯示，并與 10 個類別的標簽相關聯。 大?。?0 MB 記錄數量：10 種類別的 70,000 張圖片 SOTA：隨機擦除數據增強https:///abs/1708.04896 http://ai./~amaas/data/sentiment/ 這是電影愛好者夢寐以求的數據集，可用于二元情感分類，并包含比之前此領域所有數據集都更多的數據。除了訓練和測試評估示例之外，還有更多未標記的數據可供使用。原始文本和預處理的單詞格式包也包括在內。 大?。?0 MB 記錄數量：25,000 個用于訓練的高度兩極化的電影評論，25,000 個評論用于測試 SOTA：學習結構化文本表示https:///abs/1705.09207 https://archive.ics./ml/datasets/Twenty Newsgroups 顧名思義，該數據集包含有關新聞組的信息。為了管理這個數據集，創(chuàng)建者從 20 個不同的新聞組中獲取了 1000 篇 Usenet 文章。這些文章具有典型的特征，如主題行、簽名和引用。 大?。?0 MB 記錄數量：來自 20 個新聞組的 20,000 條信息 SOTA：用于文本分類的極深卷積網絡https:///abs/1606.01781 http://help./for-students/ Sentiment140 是一個可用于情感分析的數據集。作為一個流行的數據集，它可以幫你進行一場完美的 NLP 旅程。數據中的情緒已經被預先刪除，最終的數據集具有以下 6 個特征：
大?。?0 MB（壓縮） 記錄數量：160,000 條推文 SOTA：用最先進的情緒模型數據集評估最新的情感數據集http://www./anthology/W17-5202 https://wordnet./ 我們在上面的 ImageNet 數據集中提到，WordNet 是一個包含英文 Synsets（同義詞集合）的大型數據庫。 Synsets 是指描述不同的概念的同義詞的集合。WordNet 的結構使其成為非常有用的 NLP 工具。 大小：10 MB 記錄數量：通過少量“概念關系”將 117,000 個同義詞集與其他同義詞集相關聯。 SOTA：Wordnet：現狀和前景https:///pdf/R/R11/R11-1097.pdf https://www./dataset 這是 Yelp 為了學習目的而發(fā)布的一個開源數據集。它由數百萬用戶評論、商業(yè)屬性和來自多個大都市地區(qū)的超過 20 萬張照片組成。此數據集是全球 NLP 挑戰(zhàn)賽常用的數據集。 大?。?.66 GB JSON，2.9 GB SQL 和 7.5 GB 的照片（全部壓縮） 記錄數：5,200,000 條評論，174,000 條商業(yè)屬性，20 萬張照片和 11 個大都市區(qū) SOTA：Attentive Convolutionhttps:///pdf/1710.00519.pdf https://corpus./wiki/ 該數據集是維基百科全文的集合。它包含來自 400 多萬篇文章，將近 19 億字。這個 NLP 數據集之所以強大，是因為你可以通過單詞、短語或段落本身的一部分進行搜索。 大?。?0 MB 記錄數：4,400,000 篇文章，19 億字 SOTA：打破 Softmax 瓶頸：高級 RNN 語言模型https:///pdf/1711.03953.pdf http://u.cs./~koppel/BlogCorpus.htm 此數據集包含從 blogger.com 收集的數千名博主收集的博客帖子。每個博客都作為一個單獨的文件，至少包含 200 個常用英語單詞。 大?。?00 MB 記錄數：681,288 個帖子，超過 1.4 億字 SOTA：Character-level and Multi-channel Convolutional Neural Networks for Large-scale Authorship Attributionhttps:///pdf/1609.06686.pdf http:///wmt18/index.html 該數據集包含四種歐洲語言的訓練數據，它的任務是改進當前的翻譯方法。你可以進行以下語言互譯：
大小：?15 GB 記錄數量：約 30,000,000 個句子及其翻譯 SOTA：Attention Is All You Needhttps:///abs/1706.03762 這個數據集也是受 MNIST 數據集的啟發(fā)而創(chuàng)建的，以識別音頻樣本中的數字。這是一個開放的數據集，所以希望隨著人們貢獻更多的樣本，它會不斷地增長。目前，它包含以下特點：
大?。?0 MB 記錄數量：1500 個音頻樣本 SOTA：使用采樣級 CNN 架構的基于原始波形的音頻分類https:///pdf/1712.00866.pdf https://github.com/mdeff/fma FMA 是用于音樂分析的數據集。該數據集由全長和 HQ 音頻，預先計算的特征以及音軌和用戶級元數據組成。它是一個開源數據集，用于評估 MIR 中的幾個任務。以下是該數據集連同其包含的 csv 文件列表：
大小：?1000 GB 記錄數量：約 100,000 個軌道 SOTA：學習從音頻中識別音樂風格https:///pdf/1803.05337.pdf http://mtg./ismir2004/contest/tempoContest/node5.html 該數據集包含舞曲音頻文件，以真實音頻格式進行了許多舞蹈風格的一些特征摘錄。以下是該數據集的一些特征：
大?。?4GB（壓縮） 記錄數量：約 700 個音頻樣本 SOTA：A Multi-Model Approach To Beat Tracking Considering Heterogeneous Music Styles https://pdfs./0cc2/952bf70c84e0199fcf8e58a8680a7903521e.pdf 百萬歌曲數據集（Million Song Dataset） https://labrosa.ee./millionsong/ 百萬歌曲數據集是一個包含一百萬首當代流行音樂曲目的免費音頻特征和元數據集合。其目的是：
該數據集的核心是一百萬首歌曲的特征分析和元數據，它不包含任何音頻，只包含派生的功能。示例音頻可以通過使用哥倫比亞大學提供的代碼從 7digital 等服務中獲取。 大小：280 GB 記錄數量：一百萬首歌曲！ SOTA：Preliminary Study on a Recommender System for the Million Songs Dataset Challengehttp://www.ke./events/PL-12/papers/08-aiolli.pdf http://www./12/ 該數據集是包含約 1000 小時時長英語語音的大型語料庫。這些數據來自 LibriVox 項目的有聲讀物，已被合理分割并分配。如果你想找一個起點，請查看在 kaldi-asr.org 上訓練好的聲學模型和語言模型，而 http://www./11/ 適用于評估。 大?。?60 GB 記錄數：1000 小時的語音 SOTA：Letter-Based Speech Recognition with Gated ConvNetshttps:///abs/1712.09444 http://www.robots./~vgg/data/voxceleb/ VoxCeleb 是一個大型的語音識別數據集。它包含從 YouTube 視頻上收集的 1,251 位名人的約 10 萬條語音。數據大致是性別均衡的（男性占 55％）。這些名人的口音、職業(yè)和年齡千差萬別，開發(fā)和測試集之間沒有重疊。識別出這些聲音屬于哪位明星可能是一個有趣的嘗試。 大?。?50 MB 記錄數：1,251 位名人的 100,000 條語音 SOTA：VoxCeleb: a large-scale speaker identification datasethttps://www.robots./~vgg/publications/2017/Nagrani17/nagrani17.pdf 為了你們更好地訓練，我們做了一份現實生活中會遇到的問題的列表。在這部分，我們列出了在我們的 DataHack 平臺上遇到的深度學習實踐問題。 https://datahack./contest/practice-problem-twitter-sentiment-analysis/ 以種族主義和性別歧視為形式的仇恨言論已成為 twitter 的麻煩，把這類推文與其他人隔離是很重要的工作。在這個實踐問題中，我們提供了既包含正常又有仇恨推言論文的 Twitter 數據。作為數據科學家，你的任務是確定哪些推文是仇恨推文，哪些不是。 大?。? MB 記錄數量：31,962 條推文 https://datahack./contest/practice-problem-age-detection/ 對于所有深度學習愛好者來說，這是一個令人著迷的挑戰(zhàn)。該數據集包含數千個印度演員的圖像，你的任務是確定他們的年齡。所有圖像都是手動從視頻幀中剪切的，這導致演員的姿勢、表情、光照、年齡、分辨率、遮擋和妝容的高度不確定性。 大?。?8 MB（壓縮） 記錄數：訓練集中的 19,906 幅圖像和測試集中的 6636 幅圖像 SOTA：深度學習——年齡檢測問題的解決方案https://www./blog/2017/06/hands-on-with-deep-learning-solution-for-age-detection-practice-problem/ https://datahack./contest/practice-problem-urban-sound-classification/ 這個數據集包含超過 8000 個、10 種類別的來自城市的聲音片段，旨在介紹常見的音頻處理分類方法。 大?。河柧毤?3GB（壓縮），測試集 2 GB（壓縮） 記錄數量：來自 10 個種類的 8732 個來自城市的標注聲音片段（<= 4s） 原文鏈接：https://www./blog/2018/03/comprehensive-collection-deep-learning-datasets/ 如果你喜歡這篇文章，記得給我們留個言點個贊，給編輯小哥哥小姐姐們鼓勵一下吧！ |
|
|
