隨著深度學(xué)習(xí)的突破，近年來(lái)人工智能（AI）應(yīng)用和服務(wù)蓬勃發(fā)展。在移動(dòng)計(jì)算和物聯(lián)網(wǎng)進(jìn)步的推動(dòng)下，數(shù)十億移動(dòng)和物聯(lián)網(wǎng)設(shè)備連接到互聯(lián)網(wǎng)，在網(wǎng)絡(luò)邊緣生成數(shù)以億計(jì)的數(shù)據(jù)字節(jié)。

在人工智能和物聯(lián)網(wǎng)的驅(qū)動(dòng)下，迫切需要將人工智能前沿推向網(wǎng)絡(luò)邊緣，充分釋放邊緣大數(shù)據(jù)的潛力。為了實(shí)現(xiàn)這一趨勢(shì)，邊緣計(jì)算是一個(gè)很有前途的解決方案，以支持計(jì)算密集型人工智能應(yīng)用在邊緣設(shè)備上。

邊緣智能或邊緣人工智能是人工智能和邊緣計(jì)算的結(jié)合；它支持將機(jī)器學(xué)習(xí)算法部署到生成數(shù)據(jù)的邊緣設(shè)備。邊緣智能有可能為任何地方的每個(gè)人或組織提供人工智能。

一、什么是邊緣計(jì)算

邊緣計(jì)算的概念是在更靠近需要提高響應(yīng)時(shí)間和節(jié)省帶寬的位置捕獲、存儲(chǔ)、處理和分析數(shù)據(jù)。因此，邊緣計(jì)算是一種分布式計(jì)算框架，它使應(yīng)用程序更接近物聯(lián)網(wǎng)設(shè)備、本地終端設(shè)備或邊緣服務(wù)器等數(shù)據(jù)源。

邊緣計(jì)算的基本原理是計(jì)算應(yīng)該發(fā)生在數(shù)據(jù)源附近。因此，我們?cè)O(shè)想邊緣計(jì)算可能對(duì)我們的社會(huì)產(chǎn)生與云計(jì)算一樣大的影響。

邊緣計(jì)算的概念

二、為什么我們需要邊緣計(jì)算

數(shù)據(jù)在網(wǎng)絡(luò)邊緣生成

作為推動(dòng)人工智能發(fā)展的關(guān)鍵驅(qū)動(dòng)力，大數(shù)據(jù)最近經(jīng)歷了數(shù)據(jù)源從超大規(guī)模云數(shù)據(jù)中心到日益普及的終端設(shè)備（如移動(dòng)和物聯(lián)網(wǎng)設(shè)備）的根本轉(zhuǎn)變。傳統(tǒng)上，網(wǎng)絡(luò)購(gòu)物記錄、社交媒體內(nèi)容、商業(yè)信息等大數(shù)據(jù)主要是在超大規(guī)模數(shù)據(jù)中心產(chǎn)生和存儲(chǔ)的。然而，隨著移動(dòng)計(jì)算和物聯(lián)網(wǎng)的出現(xiàn)，這種趨勢(shì)現(xiàn)在正在逆轉(zhuǎn)。

如今，大量傳感器和智能設(shè)備產(chǎn)生海量數(shù)據(jù)，不斷增長(zhǎng)的計(jì)算能力正在推動(dòng)計(jì)算和服務(wù)的核心從云端到網(wǎng)絡(luò)邊緣。今天，超過(guò) 500 億物聯(lián)網(wǎng)設(shè)備連接到互聯(lián)網(wǎng)，IDC 預(yù)測(cè)，到 2025 年，將有 800 億物聯(lián)網(wǎng)設(shè)備和傳感器在線。

思科的全球云指數(shù)估計(jì)，到 2021 年，每年將在云之外生成近 850 ZB 的數(shù)據(jù)，而全球數(shù)據(jù)中心流量?jī)H為 20.6 ZB。這表明數(shù)據(jù)源正在轉(zhuǎn)變——從大規(guī)模的云數(shù)據(jù)中心到越來(lái)越廣泛的邊緣設(shè)備。同時(shí)，云計(jì)算逐漸無(wú)法管理這些大規(guī)模分布的計(jì)算能力并分析它們的數(shù)據(jù)：

1. 資源：通過(guò)廣域網(wǎng) (WAN) 移動(dòng)大量數(shù)據(jù)對(duì)網(wǎng)絡(luò)容量和云計(jì)算基礎(chǔ)設(shè)施的計(jì)算能力提出了嚴(yán)峻挑戰(zhàn)。

2. 延遲：對(duì)于基于云的計(jì)算，傳輸延遲可能非常高。許多新型應(yīng)用程序都具有挑戰(zhàn)性的延遲要求，而云計(jì)算很難始終如一地滿足這些要求（例如，協(xié)作式自動(dòng)駕駛）。

邊緣計(jì)算在數(shù)據(jù)源提供數(shù)據(jù)處理

邊緣計(jì)算是一種將云服務(wù)從網(wǎng)絡(luò)核心推向網(wǎng)絡(luò)邊緣的范式。邊緣計(jì)算的目標(biāo)是盡可能靠近數(shù)據(jù)源和最終用戶托管計(jì)算任務(wù)。

當(dāng)然，邊緣計(jì)算和云計(jì)算并不相互排斥。相反，邊緣補(bǔ)充并擴(kuò)展了云。邊緣計(jì)算與云計(jì)算相結(jié)合的主要優(yōu)勢(shì)如下：

1. 骨干網(wǎng)絡(luò)性能：分布式邊緣計(jì)算節(jié)點(diǎn)可以處理許多計(jì)算任務(wù)，而無(wú)需與云交換底層數(shù)據(jù)。這允許優(yōu)化網(wǎng)絡(luò)的流量負(fù)載。

2. 敏捷服務(wù)響應(yīng)：部署在邊緣的應(yīng)用可以顯著降低數(shù)據(jù)傳輸?shù)难舆t，提高響應(yīng)速度。

3. 強(qiáng)大的云備份：在邊緣無(wú)法承受的情況下，云可以提供強(qiáng)大的處理能力和海量、可擴(kuò)展的存儲(chǔ)。

數(shù)據(jù)越來(lái)越多地在網(wǎng)絡(luò)邊緣產(chǎn)生，在網(wǎng)絡(luò)邊緣處理數(shù)據(jù)會(huì)更有效。因此，邊緣計(jì)算憑借其減少數(shù)據(jù)傳輸、改善服務(wù)延遲、緩解云計(jì)算壓力的優(yōu)勢(shì)，成為突破新興技術(shù)瓶頸的重要解決方案。

三、邊緣智能結(jié)合人工智能和邊緣計(jì)算

在邊緣生成的數(shù)據(jù)需要人工智能

移動(dòng)和物聯(lián)網(wǎng)設(shè)備的數(shù)量和類(lèi)型激增，導(dǎo)致產(chǎn)生大量持續(xù)感知的設(shè)備物理環(huán)境的多模態(tài)數(shù)據(jù)（音頻、圖片、視頻）。

連接的邊緣設(shè)備創(chuàng)建的數(shù)據(jù)與在云中處理的數(shù)據(jù)之間的差距

人工智能在功能上是必要的，因?yàn)樗軌蚩焖俜治鲞@些龐大的數(shù)據(jù)量并從中提取洞察力以進(jìn)行高質(zhì)量的決策。Gartner 預(yù)測(cè)，到 2022 年，超過(guò) 80% 的企業(yè)物聯(lián)網(wǎng)項(xiàng)目將包含人工智能組件。

最流行的人工智能技術(shù)之一是深度學(xué)習(xí)，它能夠識(shí)別模式并檢測(cè)邊緣設(shè)備感測(cè)到的數(shù)據(jù)中的異常情況，例如人口分布、交通流量、濕度、溫度、壓力和空氣質(zhì)量。

然后，從感測(cè)數(shù)據(jù)中提取的見(jiàn)解會(huì)被提供給實(shí)時(shí)預(yù)測(cè)決策（例如公共交通規(guī)劃、交通控制和駕駛警報(bào)），以響應(yīng)快速變化的環(huán)境，從而提高運(yùn)營(yíng)效率。

什么是邊緣智能和邊緣人工智能

邊緣計(jì)算和人工智能的結(jié)合催生了一個(gè)名為“邊緣智能”或“邊緣人工智能”的新研究領(lǐng)域。邊緣智能利用廣泛的邊緣資源為 AI 應(yīng)用程序提供支持，而無(wú)需完全依賴云。雖然Edge AI或 Edge 智能是一個(gè)全新的術(shù)語(yǔ)，但這個(gè)方向的實(shí)踐很早就開(kāi)始了，微軟在 2009 年構(gòu)建了一個(gè)基于邊緣的原型來(lái)支持移動(dòng)語(yǔ)音命令識(shí)別。

邊緣計(jì)算場(chǎng)景

然而，盡管早期探索開(kāi)始，邊緣智能仍然沒(méi)有正式的定義。目前，大多數(shù)組織和媒體將邊緣智能稱為“在終端設(shè)備上本地運(yùn)行 AI 算法的范例，其數(shù)據(jù)（傳感器數(shù)據(jù)或信號(hào)）是在設(shè)備上創(chuàng)建的?！?/span>

邊緣人工智能和邊緣智能被廣泛認(rèn)為是研究和商業(yè)創(chuàng)新的領(lǐng)域。由于在邊緣運(yùn)行 AI 應(yīng)用程序的優(yōu)越性和必要性，Edge AI 近來(lái)受到了極大的關(guān)注。

Gartner技術(shù)成熟度曲線（ Gartner Hype Cycles ）將邊緣智能命名為一項(xiàng)新興技術(shù)，它將在未來(lái) 5 到 10 年內(nèi)達(dá)到生產(chǎn)力平臺(tái)。包括谷歌、微軟、IBM、英特爾在內(nèi)的多家主要企業(yè)和技術(shù)領(lǐng)導(dǎo)者展示了邊緣計(jì)算在連接人工智能最后一公里方面的優(yōu)勢(shì)。這些努力包括廣泛的人工智能應(yīng)用，例如實(shí)時(shí)視頻分析、認(rèn)知輔助、精準(zhǔn)農(nóng)業(yè)、智能家居和工業(yè)物聯(lián)網(wǎng)。

邊緣智能和智能邊緣的概念

云不足以支持深度學(xué)習(xí)應(yīng)用程序

由于深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)（CV）和自然語(yǔ)言處理（NLP）領(lǐng)域的巨大優(yōu)勢(shì)，基于人工智能和深度學(xué)習(xí)的智能服務(wù)和應(yīng)用已經(jīng)改變了人們生活的許多方面。

但是，由于效率和延遲問(wèn)題，目前的云計(jì)算服務(wù)架構(gòu)還不足以為任何地方的每個(gè)人和每個(gè)組織提供人工智能。

對(duì)于更廣泛的應(yīng)用場(chǎng)景，如智能工廠和城市、智能交通、人臉識(shí)別、醫(yī)學(xué)影像等，由于以下因素，提供的智能服務(wù)數(shù)量有限：

• 成本：云端深度學(xué)習(xí)模型的訓(xùn)練和推理需要設(shè)備或用戶向云端傳輸海量數(shù)據(jù)。這會(huì)消耗大量的網(wǎng)絡(luò)帶寬。

• 延遲：訪問(wèn)云服務(wù)的延遲通常無(wú)法保證，對(duì)于許多時(shí)間關(guān)鍵的應(yīng)用程序來(lái)說(shuō)可能不夠短。

• 可靠性：大多數(shù)云計(jì)算應(yīng)用程序依賴無(wú)線通信和骨干網(wǎng)絡(luò)將用戶連接到服務(wù)。對(duì)于很多工業(yè)場(chǎng)景，即使在網(wǎng)絡(luò)連接丟失的情況下，智能服務(wù)也必須是高可靠的。

• 隱私：深度學(xué)習(xí)通常涉及大量的私人信息。人工智能隱私問(wèn)題對(duì)智能家居和城市等領(lǐng)域至關(guān)重要。在某些情況下，甚至可能無(wú)法傳輸敏感數(shù)據(jù)。

由于邊緣比云更接近用戶，邊緣計(jì)算有望解決其中的許多問(wèn)題。

將深度學(xué)習(xí)轉(zhuǎn)移到邊緣的優(yōu)勢(shì)

AI 和邊緣計(jì)算的融合是很自然的，因?yàn)樗鼈冎g有明顯的交集。在網(wǎng)絡(luò)邊緣生成的數(shù)據(jù)依賴于人工智能來(lái)充分釋放其全部潛力。邊緣計(jì)算能夠隨著更豐富的數(shù)據(jù)和應(yīng)用場(chǎng)景而蓬勃發(fā)展。

邊緣智能有望盡可能地將深度學(xué)習(xí)計(jì)算從云端推向邊緣。這使得開(kāi)發(fā)各種分布式、低延遲和可靠的智能服務(wù)成為可能。

將深度學(xué)習(xí)部署到邊緣的優(yōu)勢(shì)包括：

1. 低延遲：深度學(xué)習(xí)服務(wù)部署在請(qǐng)求用戶附近。這顯著減少了將數(shù)據(jù)發(fā)送到云進(jìn)行處理的延遲和成本。

2. 隱私保護(hù)：由于深度學(xué)習(xí)服務(wù)所需的原始數(shù)據(jù)存儲(chǔ)在本地邊緣設(shè)備或用戶設(shè)備本身而不是云端，因此隱私得到增強(qiáng)。

3. 更高的可靠性：分散和分層的計(jì)算架構(gòu)提供了更可靠的深度學(xué)習(xí)計(jì)算。

4. 可擴(kuò)展的深度學(xué)習(xí)：邊緣計(jì)算憑借更豐富的數(shù)據(jù)和應(yīng)用場(chǎng)景，可以推動(dòng)深度學(xué)習(xí)在各行業(yè)的廣泛應(yīng)用，推動(dòng)人工智能的普及。

5. 商業(yè)化：多樣化和有價(jià)值的深度學(xué)習(xí)服務(wù)拓寬了邊緣計(jì)算的商業(yè)價(jià)值，加速了其部署和增長(zhǎng)。

使用靠近數(shù)據(jù)源的網(wǎng)絡(luò)邊緣資源釋放深度學(xué)習(xí)服務(wù)已成為一種理想的解決方案。因此，邊緣智能旨在促進(jìn)使用邊緣計(jì)算部署深度學(xué)習(xí)服務(wù)。

云、設(shè)備端和邊緣智能的能力比較

邊緣計(jì)算是泛在人工智能的關(guān)鍵基礎(chǔ)設(shè)施

人工智能技術(shù)已經(jīng)在我們?nèi)粘Ｉ钪械脑S多數(shù)字產(chǎn)品或服務(wù)（電子商務(wù)、服務(wù)推薦、視頻監(jiān)控、智能家居設(shè)備等）中取得了巨大的成功。此外，人工智能是新興創(chuàng)新前沿領(lǐng)域的關(guān)鍵驅(qū)動(dòng)力，如自動(dòng)駕駛汽車(chē)、智能金融、癌癥診斷、智慧城市、智能交通和醫(yī)療發(fā)現(xiàn)。

基于這些例子，人工智能領(lǐng)域的領(lǐng)導(dǎo)者推動(dòng)實(shí)現(xiàn)更豐富的深度學(xué)習(xí)應(yīng)用程序，并突破可能的界限。因此，泛在人工智能是各大 IT 公司宣稱的目標(biāo)，其愿景是“為每個(gè)人和每個(gè)組織在任何地方制造人工智能”。

因此，人工智能應(yīng)該“更接近”人、數(shù)據(jù)和終端設(shè)備。顯然，在實(shí)現(xiàn)這一目標(biāo)方面，邊緣計(jì)算比云計(jì)算更勝任：

1. 與云數(shù)據(jù)中心相比，邊緣服務(wù)器更靠近人、數(shù)據(jù)源和設(shè)備。

2. 與云計(jì)算相比，邊緣計(jì)算更實(shí)惠且易于訪問(wèn)。

3. 邊緣計(jì)算有可能提供比云計(jì)算更多樣化的人工智能應(yīng)用場(chǎng)景。

由于這些優(yōu)勢(shì)，邊緣計(jì)算自然是無(wú)處不在的人工智能的關(guān)鍵推動(dòng)因素。

四、在網(wǎng)絡(luò)邊緣部署機(jī)器學(xué)習(xí)算法

前所未有的數(shù)據(jù)量，加上最近人工智能 (AI) 的突破，使深度學(xué)習(xí)技術(shù)的使用成為可能。邊緣智能支持在網(wǎng)絡(luò)邊緣部署機(jī)器學(xué)習(xí)算法。

將學(xué)習(xí)推向邊緣的主要?jiǎng)訖C(jī)是允許快速訪問(wèn)邊緣設(shè)備生成的大量實(shí)時(shí)數(shù)據(jù)，用于快速的AI模型訓(xùn)練和推理，從而賦予設(shè)備類(lèi)人的智能，以響應(yīng)實(shí)時(shí)事件。

設(shè)備上的分析在設(shè)備上運(yùn)行 AI 應(yīng)用程序以在本地處理收集的數(shù)據(jù)。因?yàn)樵S多人工智能應(yīng)用需要高計(jì)算能力，這大大超過(guò)了資源和能源受限的邊緣設(shè)備的能力。因此，缺乏性能和能效是邊緣人工智能的共同挑戰(zhàn)。

不同級(jí)別的邊緣智能

邊緣智能的大多數(shù)概念通常都集中在推理階段（運(yùn)行 AI 模型），并假設(shè) AI 模型的訓(xùn)練在云數(shù)據(jù)中心進(jìn)行，主要是由于訓(xùn)練階段的資源消耗較高。

然而，邊緣智能的全部范圍充分利用終端設(shè)備、邊緣節(jié)點(diǎn)和云數(shù)據(jù)中心的層次結(jié)構(gòu)中的可用數(shù)據(jù)和資源來(lái)優(yōu)化訓(xùn)練和推理深度神經(jīng)網(wǎng)絡(luò)模型的整體性能。

因此，邊緣智能并不一定要求深度學(xué)習(xí)模型在邊緣完全訓(xùn)練或推理。因此，存在涉及數(shù)據(jù)卸載和協(xié)同訓(xùn)練的云邊緣場(chǎng)景。

邊緣智能：云和邊緣計(jì)算的范圍

一般沒(méi)有“最佳級(jí)別”，因?yàn)檫吘壷悄艿淖罴言O(shè)置取決于應(yīng)用程序，并且是通過(guò)聯(lián)合考慮延遲、隱私、能效、資源成本和帶寬成本等多個(gè)標(biāo)準(zhǔn)來(lái)確定的。

• 云智能是完全在云端對(duì) AI 模型進(jìn)行訓(xùn)練和推理。

• 設(shè)備端推理包括在云端進(jìn)行 AI 模型訓(xùn)練，而 AI 推理則以完全本地的設(shè)備端方式應(yīng)用。設(shè)備上推理意味著不會(huì)卸載任何數(shù)據(jù)。

• 邊緣智能完全在設(shè)備上執(zhí)行 AI 模型的訓(xùn)練和推理。

通過(guò)將任務(wù)轉(zhuǎn)移到邊緣，減少數(shù)據(jù)卸載的傳輸延遲，增加數(shù)據(jù)隱私，降低云資源和帶寬成本。然而，這是以增加能源消耗和邊緣計(jì)算延遲為代價(jià)的。

設(shè)備端推理目前是一種適用于各種設(shè)備端 AI 應(yīng)用程序的有前途的方法，已被證明在許多用例中都達(dá)到了最佳平衡。設(shè)備端模型訓(xùn)練是聯(lián)邦學(xué)習(xí)的基礎(chǔ)。

邊緣深度學(xué)習(xí)設(shè)備端推理

AI 模型，更具體地說(shuō)是深度神經(jīng)網(wǎng)絡(luò) (DNNs)，需要更大規(guī)模的數(shù)據(jù)集來(lái)進(jìn)一步提高其準(zhǔn)確性。這表明計(jì)算成本急劇增加，因?yàn)樯疃葘W(xué)習(xí)模型的出色性能需要高級(jí)硬件。因此，很難將它們部署到邊緣，這會(huì)帶來(lái)資源限制。

因此，大規(guī)模深度學(xué)習(xí)模型一般部署在云端，而終端設(shè)備只是將輸入數(shù)據(jù)發(fā)送到云端，然后等待深度學(xué)習(xí)推理結(jié)果。然而，僅云推理限制了深度學(xué)習(xí)服務(wù)的普遍使用：

• 推理延遲。具體來(lái)說(shuō)，它不能保證實(shí)時(shí)應(yīng)用的延遲要求，例如對(duì)延遲要求嚴(yán)格的實(shí)時(shí)檢測(cè)。

• 隱私。數(shù)據(jù)安全和隱私保護(hù)是基于云的推理系統(tǒng)的重要限制。

為了應(yīng)對(duì)這些挑戰(zhàn)，深度學(xué)習(xí)服務(wù)傾向于求助于邊緣計(jì)算。因此，必須定制深度學(xué)習(xí)模型以適應(yīng)資源受限的邊緣。同時(shí)，需要仔細(xì)優(yōu)化深度學(xué)習(xí)應(yīng)用程序，以平衡推理準(zhǔn)確性和執(zhí)行延遲之間的權(quán)衡。

五、下一步是什么？

隨著人工智能和物聯(lián)網(wǎng)的出現(xiàn)，需要將人工智能前沿從云端推向邊緣設(shè)備。邊緣計(jì)算已成為廣泛認(rèn)可的解決方案，可在資源受限的環(huán)境中支持計(jì)算密集型 AI 應(yīng)用程序。

智能邊緣，也稱為邊緣人工智能，是一種將邊緣計(jì)算和人工智能結(jié)合在一起的新范式，其目標(biāo)是為各行各業(yè)的組織提供無(wú)處不在的人工智能應(yīng)用程序。

by Gaudenz Boesch from viso.ai