在邊緣計算環(huán)境中部署人工智能的指南

　　將人工智能與邊緣計算結(jié)合起來可能很復(fù)雜。邊緣是一個必須控制資源成本的地方，其他IT優(yōu)化計劃，如云計算，很難應(yīng)用。

　　邊緣計算是一種應(yīng)用程序部署模型，其中應(yīng)用程序的部分或全部托管在其旨在支持的現(xiàn)實世界系統(tǒng)附近。這些應(yīng)用程序通常被描述為實時和物聯(lián)網(wǎng)，因為它們直接與現(xiàn)實世界元素(如傳感器和效應(yīng)器)交互，需要高可靠性和低延遲。

　　邊緣通常位于本地，靠近用戶和流程，通常位于系統(tǒng)軟件和性能有限的小型服務(wù)器上。此本地邊緣通常鏈接到在云中運行的另一個應(yīng)用程序組件。

　　隨著人工智能功能和復(fù)雜性的增加，它為邊緣部署場景創(chuàng)造了更多機會。當(dāng)部署在邊緣計算環(huán)境中時，人工智能可以為各個行業(yè)提供一系列好處。但正確實施需要某些功能和平臺考慮。

　　邊緣計算中人工智能的好處

　　部署在邊緣計算環(huán)境中的人工智能(有時稱為邊緣人工智能)提供了許多好處。

　　對于處理事件并向效應(yīng)器設(shè)備返回命令或向用戶返回消息的邊緣應(yīng)用程序，邊緣人工智能可以實現(xiàn)比單純的邊緣軟件更好、更靈活的決策。這可能包括在生成響應(yīng)之前關(guān)聯(lián)來自單個或多個來源的事件的應(yīng)用程序，或需要對事件內(nèi)容進(jìn)行復(fù)雜分析的應(yīng)用程序。

　　邊緣計算環(huán)境中的人工智能的其他好處包括：

　　提高速度。

　　更強的隱私性。

　　更好的應(yīng)用程序性能。

　　降低延遲和成本。

　　邊緣計算中人工智能的注意事項

　　在實時邊緣計算中部署人工智能時，組織必須解決兩個重要的技術(shù)限制：托管要求與邊緣系統(tǒng)功能以及延遲預(yù)算。

　　托管要求

　　大多數(shù)機器學(xué)習(xí)工具都可以在適合邊緣部署的服務(wù)器配置上運行，因為它們不需要 GPU 組。越來越多的研究人員也在開發(fā)資源密集程度較低的更復(fù)雜人工智能工具版本(包括生成 AI 服務(wù)所推廣的大型語言模型)，只要系統(tǒng)軟件兼容，這些工具就可以在本地邊緣服務(wù)器上運行。

　　如果所需的人工智能功能沒有以適合本地邊緣服務(wù)器部署的形式提供，則可能可以將事件傳遞到云或數(shù)據(jù)中心進(jìn)行處理，只要可以滿足應(yīng)用程序的延遲預(yù)算即可。

　　延遲預(yù)算

　　延遲預(yù)算是應(yīng)用程序在接收觸發(fā)處理的事件和響應(yīng)生成該事件的實際系統(tǒng)之間可以容忍的最大時間。此預(yù)算必須涵蓋傳輸時間和所有處理時間。

　　延遲預(yù)算可以是一種軟約束，如果未滿足該約束，則會延遲某項活動 — — 例如，讀取車輛 RFID 標(biāo)簽或貨單條形碼并安排車輛卸貨的應(yīng)用程序。它也可以是一種硬約束，如果未滿足該約束，則可能導(dǎo)致災(zāi)難性故障。后者的示例包括將干物料傾倒到行駛中的火車上的車廂中或高速交通匯合。

　　何時在邊緣部署人工智能

　　決定何時在邊緣托管人工智能涉及平衡給定點的可用計算能力、該點與觸發(fā)事件源之間的往返延遲以及響應(yīng)的目的地。延遲預(yù)算越大，放置人工智能流程的靈活性就越大，它們可以為應(yīng)用程序帶來更多的功能。

　　雖然一些物聯(lián)網(wǎng)系統(tǒng)單獨處理事件，但復(fù)雜的事件關(guān)聯(lián)在其他應(yīng)用中很有用。例如，在交通控制中，最佳命令取決于來自多個來源的事件，例如交通傳感器。

　　事件內(nèi)容的分析在醫(yī)療保健中也非常有價值。例如，如果當(dāng)前讀數(shù)、讀數(shù)趨勢或不同同時發(fā)生的健康指標(biāo)之間的關(guān)系表明患者有問題，人工智能可以分析血壓、脈搏和呼吸以觸發(fā)警報。

　　如果延遲預(yù)算允許，也可以訪問本地、云端或數(shù)據(jù)中心存儲的數(shù)據(jù)庫。例如，送貨卡車可能會使用 RFID 獲取裝載清單的副本，然后可以使用其中的內(nèi)容將卡車引導(dǎo)至貨位，派遣工人卸貨并生成處理貨物的說明。

　　即使人工智能不托管在云或數(shù)據(jù)中心，邊緣應(yīng)用程序也經(jīng)常會根據(jù)事件生成傳統(tǒng)交易，以及本地處理和周轉(zhuǎn)。在規(guī)劃邊緣人工智能時，組織需要考慮邊緣主機、人工智能和面向交易的處理之間的關(guān)系。

　　選擇邊緣人工智能平臺

　　選擇邊緣人工智能平臺的首要考慮因素是如何對其進(jìn)行集成和管理。在邊緣人工智能僅與云或數(shù)據(jù)中心松散連接的情況下，像Nvidia EGX這樣的專用平臺針對低延遲和人工智能進(jìn)行了優(yōu)化。對于與云中或數(shù)據(jù)中心的其他應(yīng)用程序組件緊密耦合的邊緣人工智能，實時Linux變體更容易集成和管理。

　　在某些情況下，如果公共云提供商提供邊緣組件，如AWS IoT Greengrass或微軟的Azure IoT edge，則可以將人工智能功能劃分為邊緣、云和數(shù)據(jù)中心。這種方法可以簡化邊緣托管的人工智能工具選擇，使組織能夠在可用時簡單地選擇邊緣包中包含的人工智能軟件。

　　大多數(shù)邊緣人工智能托管可能使用更簡單的機器學(xué)習(xí)模型，這些模型的資源密集度較低，可以經(jīng)過訓(xùn)練來處理大多數(shù)事件處理。深度學(xué)習(xí)形式的人工智能需要更多的托管能力，但根據(jù)模型的復(fù)雜性，它可能仍然適用于邊緣服務(wù)器托管。LLM和其他生成人工智能模型正變得越來越可分發(fā)到邊緣，但目前，完整的實現(xiàn)可能需要云或數(shù)據(jù)中心托管。

　　最后，考慮人工智能使用的邊緣資源的管理。雖然與其他形式的邊緣計算相比，人工智能本身并不需要不同的管理實踐，但為邊緣和人工智能選擇一個專門的平臺可能需要不同的管理實踐和工具。

　　作者：Tom Nolle 是 Andover Intel 的創(chuàng)始人兼首席分析師

　　來源：千家網(wǎng)