隨著端側(cè)AI勢如破竹的發(fā)展，在最近召開的2024國際AIoT生態(tài)發(fā)展大會上，安謀科技智能物聯(lián)業(yè)務(wù)線業(yè)務(wù)發(fā)展與方案總監(jiān)商德明先生為所有芯片、端側(cè)AI開發(fā)者們介紹端云之間生態(tài)互動的產(chǎn)生以及所涉及到硬件的更新、軟件和應(yīng)用的變化。無論是端側(cè)還是云側(cè)，最終要實現(xiàn)的目標(biāo)是為了帶來更大的生態(tài)效應(yīng)，能夠支持更多的客戶使用相同的方案。通過云跟端的整體配合，云端混合的方式能夠真正落地，產(chǎn)生最大的效益。

　　端側(cè)到底為什么發(fā)展起來?

　　1、節(jié)約成本

　　不管是什么樣的任務(wù)、請求，每一次的傳輸，都會經(jīng)過大模型的計算，電力成本就會非常高，但是如果在端側(cè)區(qū)域去進行一部分推理，幫助用戶，成本就會少很多。以及云端能源的耗費，如果我們?nèi)匀粚⒅匦姆旁谠贫松?，將來可能全世界開發(fā)的能源都要被云端所消耗。

　　2、信息安全

　　端側(cè)的AI嵌入意味著在端側(cè)就能進行信息的識別、處理，在私密性和安全性方面天生有優(yōu)勢。不僅是關(guān)乎個人的數(shù)據(jù)，更是涉及到很多敏感的，需要安全級別高的數(shù)據(jù)，包括金融、財務(wù)等方面，這些非常重要的數(shù)據(jù)，放在端側(cè)能更好地保證數(shù)據(jù)的安全性，避免了統(tǒng)一存儲云端的不安。

　　3、及時反饋

　　有些性能要依賴網(wǎng)絡(luò)來解決問題，就會面臨延時的問題，網(wǎng)絡(luò)某種程度上影響了云端運行效率。即時性要求不高的行動或許還能接受，但是有很多關(guān)鍵性的應(yīng)用，需要及時反饋行動，比如機器人去救火，或者是快速及時的汽車行駛，這些場景對實時性的要求非常高，云側(cè)AI所帶來的弊端就顯現(xiàn)出來了。

　　端側(cè)AI會帶來什么樣的變化?

　　1、芯片

　　無論AI如何發(fā)展，研發(fā)、制作芯片的成本依然非常高。因為芯片一旦進入到設(shè)備，比如進入到車?yán)锘蛘叻?wù)器里面，它所關(guān)聯(lián)的價值就更高，芯片會有一個非常重大的責(zé)任，需要負(fù)責(zé)端側(cè)在安全、整個功能上的推進。所以芯片的穩(wěn)定性、魯棒性和先進性非常重要，更新迭代的速度也很快。

　　然而除了這些常規(guī)的性能要求，目前端側(cè)AI所運用到的芯片還需要從不同場景中抓取搜集數(shù)據(jù)。通過海量芯片在市場上的應(yīng)用，芯片可以把應(yīng)用場景以及相關(guān)的數(shù)據(jù)都抓取出來，還可以從全世界所有用戶的使用行為中發(fā)現(xiàn)問題，為芯片的更新迭代提供參考，或者是從一些特殊的場景去集中收集、匯聚信息，更加完整地去測試各種端側(cè)所處的場景，從而保證技術(shù)在不同的場景、不同用戶之間可以保持一定的穩(wěn)定性。

      通過這種民意的分析，對客戶訴求的把握，從全球范圍內(nèi)吸取用戶給予的提示和反饋，來不斷的提升產(chǎn)品的質(zhì)量，對于整個行業(yè)也是非常大的價值。再通過大模型的更新，調(diào)動所有相應(yīng)的應(yīng)用迭代，使得用戶能夠得到一個更好的服務(wù)，讓設(shè)備成為一個智能化、個性化的助手。

　　2、傳感器

　　傳統(tǒng)端側(cè)的傳感只是起到采集、傳輸?shù)淖饔茫褚粋€沉睡中的大腦，但是隨著 AI的價值和發(fā)展，不僅僅是對傳感、對數(shù)據(jù)的采集、傳輸，大腦要醒來，對整個數(shù)據(jù)分析，以及分析過后反饋、采取行動。

　　傳感是多模態(tài)的，例如自動駕駛、機器人等，在視覺上有8k、4k的攝像頭若干個，還有雷達、激光、聲音等相關(guān)的傳感，多模態(tài)輸入使它的復(fù)雜度提高。同時，面對海量的數(shù)據(jù)，如何使你的架構(gòu)更加合理，能夠更加快速、實時地處理這些數(shù)據(jù)，精確提供企業(yè)需要的足夠的判斷基礎(chǔ)。然后通過AI大模型的生成、AI的判斷，能夠及時地做出反饋，使得一些相應(yīng)的動作能夠發(fā)生。所有端側(cè)設(shè)備都面臨這樣的需求，解決架構(gòu)上的問題。

　　計算架構(gòu)要優(yōu)化就要求算力的提升。之前的發(fā)展模式中，計算機或者芯片基本上都是代理，或者以一個CPU的架構(gòu)思維、判斷去做公式的計算，因此一個CPU也就是幾個線程、幾十個線程的能力去發(fā)展。但是隨著 GPU的出現(xiàn)，上百萬的并行的計算有條件發(fā)生，甚至于不僅僅是同一個指令、多個數(shù)據(jù)并行，現(xiàn)在可以同時很多的指令在一個周期里面多個數(shù)據(jù)進行計算。

　　3、半導(dǎo)體

　　本身半導(dǎo)體的發(fā)展，讓我們可以在很小的面積集成更多的單元，所以我們整個芯片硬件的要求、宗旨，就是能夠在最小的面積里面放更多的電路，使得軟件能在每一個指定周期實現(xiàn)電路的最高利用率?？焖俚氐a(chǎn)品，然后以最高的效率使芯片上所有的電路都起作用，發(fā)揮它計算和數(shù)據(jù)處理的能力。

　　端側(cè)AI的具體應(yīng)用場景以及企業(yè)努力的方向

　　隨著深層次AI的不斷加強，模型的能力也越來越強。模型的輕量化發(fā)展能夠產(chǎn)生更少的參數(shù)，不斷加持AIoT設(shè)備，同時也很可能會有新的產(chǎn)品形態(tài)出現(xiàn)，這些都值得密切的關(guān)注。

　　端側(cè)設(shè)備、智能家居等已經(jīng)在推進端側(cè)AI的部署。AR、VR、元宇宙的概念大概四五年前就已經(jīng)出現(xiàn)，蘋果等廠家在開發(fā)推進過程中，致力于凝練低功耗的同時更好地呈現(xiàn)顯示效果，這就需要它不斷提高AI算力的支撐。

　　比如監(jiān)控領(lǐng)域，對于行業(yè)來說，夜視是一個很大的挑戰(zhàn)。同時由于它定位的要求，還需要AI賦能虹膜識別、人臉識別等相關(guān)領(lǐng)域。以前傳統(tǒng)的監(jiān)控攝像頭，如果有10%的設(shè)備支持AI人臉識別，就已經(jīng)算是不錯的。但是AI發(fā)展到今時今日，監(jiān)控攝像頭具備AI的功能是必選項。所以我們可以預(yù)測在未來的三五年，這些端側(cè)設(shè)備能夠有更好的語義理解，支持大模型作為我們貼身的助手。目前AI手機、AI PC的出現(xiàn)，都是在壓縮、小型化大模型的路上努力，最終達到能夠在端側(cè)設(shè)備進行部署，具備技術(shù)能力、功能。

　　對于企業(yè)而言，端側(cè)要部署到云側(cè)需要從以下幾點努力：

　　1、架構(gòu)上的互動

　　如果云側(cè)的指令級，跟端側(cè)指令級是一致的，在同一個架構(gòu)下去開發(fā)應(yīng)用，那么云端的軟件站和整個的服務(wù)方案可以無縫遷移到端側(cè)的部分。云側(cè)跟端側(cè)之間本身在在軟件應(yīng)用開發(fā)上是有一致性和兼容性的，這就可以帶來大量的成本和人力的節(jié)約。

　　2、軟件定義硬件

　　開發(fā)模型之后可以通過穩(wěn)定的技術(shù)在端側(cè)部署，軟件定義硬件的能力就出現(xiàn)了。不管是什么樣的硬件平臺，軟件模型尤其大模型更新，就可以適配不同的場景。比如智慧農(nóng)業(yè)，大模型應(yīng)該可以做到今天監(jiān)測這些水果，明天去觀察稻谷麥香，或者又去到一個存儲倉庫、其他各個需要不同能力的環(huán)節(jié)去應(yīng)用。通過模型的更新，一次性地投入硬件，然后產(chǎn)生各種各樣的應(yīng)用效果。

　　3、獲取數(shù)據(jù)

　　要讓端側(cè)設(shè)備變得更加智慧的話，需要不斷收集互聯(lián)網(wǎng)數(shù)據(jù)。每個應(yīng)用場景下都會產(chǎn)生大量的數(shù)據(jù)，互聯(lián)網(wǎng)端側(cè)設(shè)備需要去感知物理世界，獲取、整理，再從中提取到最有效的數(shù)據(jù)。如果每次都傳輸原始數(shù)據(jù)，涉及到的數(shù)據(jù)量就會非常龐大，通過端側(cè)的提煉抓取，再去反饋給云端，在云端進行訓(xùn)練，就可以使模型的組合更加智慧或全面，進一步再反饋給端側(cè)。

　　端側(cè)AI除了發(fā)展到如今的簡單應(yīng)用，大模型通用性的職能以外，還要在軟件和生態(tài)上相互配合，和整個具體的場景相關(guān)聯(lián)，為行業(yè)提供一個指導(dǎo)方案，從而在端側(cè)或者垂直領(lǐng)域能夠發(fā)揮更重大的作用。