幾天前，TensorFlow 開(kāi)發(fā)者峰會(huì)在加利福尼亞州桑尼維爾的 Google 活動(dòng)中心如期舉行。Google 針對(duì)開(kāi)發(fā)社區(qū)發(fā)布了 2 款開(kāi)源機(jī)器學(xué)習(xí)框架和 3 款硬件開(kāi)發(fā)設(shè)備，以擴(kuò)大其 AI 產(chǎn)品和服務(wù)范圍。

在軟件方面，新發(fā)布的 4 款開(kāi)源機(jī)器學(xué)習(xí)框架是：

• TensorFlow（2.0 Alpha）

• TensorFlow Lite（1.0）

TensorFlow 是全球最受歡迎的開(kāi)源機(jī)器學(xué)習(xí)框架，最初由谷歌大腦團(tuán)隊(duì)開(kāi)發(fā)，用于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)方面的研究，但這個(gè)系統(tǒng)的通用性使其也可廣泛用于其他計(jì)算領(lǐng)域。2015 年 11 月 9 日在 Apache 2.0 開(kāi)源許可證下發(fā)布。

TensorFlow 可以理解為跑在云端服務(wù)器上的機(jī)器學(xué)習(xí)軟件。TensorFlow 2.0 Alpha 提升了 TensorFlow 的易用性、靈活性和可擴(kuò)展性，旨在為開(kāi)發(fā)者提供“開(kāi)箱即用”的使用體驗(yàn)。

如今 AIoT（AI IoT）火遍大江南北，國(guó)內(nèi)各大公司競(jìng)相采用為各自的戰(zhàn)略口號(hào)。過(guò)去跑在云端服務(wù)器的機(jī)器學(xué)習(xí)能力逐漸下沉到邊緣設(shè)備上（如手機(jī)、汽車等移動(dòng)設(shè)備），這種現(xiàn)象逐漸成為 AIoT 的一種流行趨勢(shì)，Google 也不能免俗。要想將 AI 從云端打通到終端，實(shí)現(xiàn)端云協(xié)同，在設(shè)計(jì)算法模型時(shí)，需要考慮這些設(shè)備有沒(méi)有足夠的算力，也就是說(shuō)設(shè)備能提供多少計(jì)算資源、存儲(chǔ)資源和電池容量等。TensorFlow Lite 則專為移動(dòng)和物聯(lián)網(wǎng)設(shè)備而設(shè)計(jì)，是 TensorFlow 的輕量級(jí)版本，它是開(kāi)發(fā)人員在移動(dòng)和物聯(lián)網(wǎng)設(shè)備上部署 AI 模型的框架。

TensorFlow Lite 將 TensorFlow 訓(xùn)練的 AI 模型轉(zhuǎn)換為在移動(dòng)設(shè)備上執(zhí)行的 Lite 模型。TensorFlow Lite（1.0）的改進(jìn)包括使用各種技術(shù)以減小 AI 模型的大小，在不同硬件中提高模型推理速度。

TensorFlow Lite 可以運(yùn)行在 Raspberry Pi 和 Coral Dev Board 等設(shè)備上，并支持 Android 和 iOS 操作系統(tǒng)。

目前 TensorFlow Lite 部署在超過(guò) 20 億臺(tái)設(shè)備上，許多原生 Google 應(yīng)用和服務(wù)都使用 TensorFlow Lite，包括谷歌助手 Google Assistant、GBoard、Google Photos、AutoML 和 Nest。

對(duì)于一款優(yōu)秀的人工智能產(chǎn)品而言，不僅在實(shí)時(shí)運(yùn)行時(shí)能夠保持極短的延遲時(shí)間，還能夠在離線情況下高速地進(jìn)行模型推理并響應(yīng)用戶操作。應(yīng)用于 10 億設(shè)備的谷歌助手 Google Assistant 在響應(yīng)用戶離線查詢時(shí)，所有的 CPU 模型計(jì)算都由 TensorFlow Lite 執(zhí)行。另外，累計(jì)擁有 8 億用戶的網(wǎng)易有道詞典，其圖片離線翻譯功能也采用了 TensorFlow Lite，使 OCR 識(shí)別速度提升了 30%-40%。

在硬件方面，Google 新發(fā)布的 3 款硬件開(kāi)發(fā)設(shè)備是：

• Coral Dev Board 開(kāi)發(fā)板

• Coral USB AI 推理加速器

• 500 萬(wàn)像素相機(jī)配件

這 3 款設(shè)備是以 Google Coral 品牌推出的，Coral Dev Board 開(kāi)發(fā)板售價(jià) 149.99 美元，Coral USB AI 推理加速器售價(jià) 74.99 美元，500 萬(wàn)像素相機(jī)配件售價(jià) 24.99 美元。

開(kāi)發(fā)板和加速器均采用谷歌自家的 Edge TPU 芯片，Edge TPU 僅有指甲蓋大小，專為運(yùn)行 AI 模型而設(shè)計(jì)。500 萬(wàn)像素的相機(jī)配件是開(kāi)發(fā)板的附加組件。

Edge TPU 于 2018 年 7 月發(fā)布，它是 Google 專用的 ASIC 芯片，旨在物聯(lián)網(wǎng)設(shè)備和邊緣設(shè)備上運(yùn)行 TensorFlow Lite 模型，即使設(shè)備沒(méi)有互聯(lián)網(wǎng)連接且電池容量有限。

當(dāng)然，開(kāi)發(fā)板和加速器適用于 AI 推理，即在邊緣設(shè)備上執(zhí)行機(jī)器學(xué)習(xí)的算法模型，而機(jī)器學(xué)習(xí)算法模型的訓(xùn)練仍然需要 GPU 和云端服務(wù)器去完成。

國(guó)際巨頭的 AIoT 布局

Google 在物聯(lián)網(wǎng)領(lǐng)域的起步相對(duì)較晚，當(dāng)亞馬遜、微軟、IBM 等公司的物聯(lián)網(wǎng)進(jìn)展地風(fēng)風(fēng)火火時(shí)，“物聯(lián)網(wǎng)”一開(kāi)始只存在于 Google 云平臺(tái)（Google Cloud Platform）的解決方案列表中，基于自身原有的云平臺(tái)組件，Google 僅從技術(shù)角度拼湊出一套簡(jiǎn)易的物聯(lián)網(wǎng)解決方案，并沒(méi)有提出獨(dú)立的物聯(lián)網(wǎng)品牌。

直到 2017 年，Google 才推出了 Google IoT Core 服務(wù)作為物聯(lián)網(wǎng)云平臺(tái)。2018 年 Next 大會(huì)上，Google 發(fā)布了搶攻物聯(lián)網(wǎng)邊緣計(jì)算的武器 Cloud IoT Edge 產(chǎn)品，其包括 Edge IoT Core 和 Edge ML 兩個(gè) Runtime 組件。在硬件方面，Google 也同時(shí)推出了邊緣計(jì)算專用 AI 芯片 Edge TPU。

反觀亞馬遜，早在 2015 下半年就率先發(fā)布亞馬遜 AWS IoT 平臺(tái)。2016 年底亞馬遜又推出 Greengrass 以提升邊緣運(yùn)算能力，Greengrass 由 Greengrass Core、Greengrass SDK 與 IoT Device SDK 組成，便于物聯(lián)網(wǎng)設(shè)備在本地執(zhí)行運(yùn)算、傳輸、數(shù)據(jù)同步等操作。亞馬遜緊接著于 2017 年底推出 Amazon FreeRTOS 操作系統(tǒng)，適用于小型低功耗的邊緣設(shè)備進(jìn)行編程、部署、連接與管理。最新一代的亞馬遜 Greengrass 也加入了機(jī)器學(xué)習(xí)推理功能，在云端訓(xùn)練的模型可在邊緣設(shè)備進(jìn)行執(zhí)行。

微軟在 2015 年 10 月的 Azure Con 技術(shù)大會(huì)上正式發(fā)布了 Azure 物聯(lián)網(wǎng)套件——Azure IoT Suite，其功能組件包括 IoT Hub，Event Hub（事件中心），Stream Analytics（數(shù)據(jù)流分析），Azure ML（機(jī)器學(xué)習(xí)），Azure Functions，Document DB 和 Power BI，另外微軟還推出了 Windows 10 IoT Core 操作系統(tǒng)、Azure IoT Edge 邊緣計(jì)算托管服務(wù)和 Azure Sphere 物聯(lián)網(wǎng)安全解決方案。

阿里巴巴于 2018 年 3 月底舉行的深圳云棲大會(huì)間，宣布物聯(lián)網(wǎng)成為電商、物流、金融與云計(jì)算后的第五賽道，同時(shí)設(shè)定未來(lái) 5 年將連接 100 億臺(tái)設(shè)備的目標(biāo)。阿里云緊接亞馬遜的腳步，于 2016 年發(fā)布協(xié)助物聯(lián)網(wǎng)開(kāi)發(fā)者進(jìn)行客制化物聯(lián)網(wǎng)解決方案的物聯(lián)網(wǎng)套件，主要功能包括設(shè)備接入阿里云、設(shè)備管理、設(shè)備安全、儲(chǔ)存數(shù)據(jù)與規(guī)則引擎導(dǎo)入。2017 下半年阿里云再次推出 Link 物聯(lián)網(wǎng)云平臺(tái)和 AliOS Things 物聯(lián)網(wǎng)操作系統(tǒng)。Link 物聯(lián)網(wǎng)平臺(tái)最主要目標(biāo)是將物聯(lián)網(wǎng)平臺(tái)、物聯(lián)網(wǎng)市場(chǎng)與物聯(lián)網(wǎng)標(biāo)準(zhǔn)緊密結(jié)合，讓物聯(lián)網(wǎng)基礎(chǔ)建設(shè)更全面，并朝向垂直應(yīng)用領(lǐng)域發(fā)展。

AIoT 在端云協(xié)同方面的趨勢(shì)逐漸顯現(xiàn)

縱觀國(guó)內(nèi)外巨頭在物聯(lián)網(wǎng)領(lǐng)域的實(shí)踐，可以看出，AIoT 的落地需要經(jīng)歷兩個(gè)階段。第一個(gè)階段發(fā)生在云端，通過(guò)收集大量數(shù)據(jù)進(jìn)行訓(xùn)練模型和推理，以智能音響為例，其遠(yuǎn)場(chǎng)語(yǔ)音識(shí)別和語(yǔ)義理解均在云端進(jìn)行。隨著 AI 算力在邊緣設(shè)備上逐漸增強(qiáng)，AI 應(yīng)用開(kāi)始從云端向邊緣下沉，因此第二個(gè)階段發(fā)生在終端，AI 應(yīng)用會(huì)逐漸從云端走向終端，形成云端進(jìn)行模型訓(xùn)練、終端進(jìn)行模型推理的模式，最典型的案例就是手機(jī)的 AI 拍照。

Google 此次發(fā)布的開(kāi)發(fā)板和加速器都支持其輕量級(jí)版本 AI 框架 TensorFlow Lite。Google 同時(shí)推出互相搭配的 AI 軟件開(kāi)發(fā)框架和 AI 硬件開(kāi)發(fā)工具，這些產(chǎn)品使 Google 成為唯一一家擁有集成軟件和定制硬件堆棧的云服務(wù)提供商。

從服務(wù)器、邊緣設(shè)備、終端設(shè)備再到芯片，通過(guò) TensorFlow 標(biāo)準(zhǔn)化的交換格式和開(kāi)放 API，實(shí)現(xiàn)平臺(tái)和組件間的兼容性和一致性，以支持更多的運(yùn)行平臺(tái)和開(kāi)發(fā)語(yǔ)言，顯然，Google 是采用了軟硬一體化的策略，繼續(xù)發(fā)力邊緣計(jì)算，將其強(qiáng)大的計(jì)算能力從云端貫通到終端，期望在 AIoT 的道路上走得更遠(yuǎn)。

【End】