Kas ir Edge mākslīgais intelekts?

Edge AI nodod intelektu datu rašanās vietām. Tas izklausās iespaidīgi, taču pamatideja ir vienkārša: domāt tieši blakus sensoram, lai rezultāti parādītos tagad, nevis vēlāk. Jūs iegūstat ātrumu, uzticamību un pienācīgu privātuma aizsardzību bez mākoņpakalpojumu nepieciešamības pieskatīt katru lēmumu. Apskatīsim to sīkāk — iekļauti saīsnes un papilduzdevumi. 😅

Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:

🔗 Kas ir ģeneratīvais mākslīgais intelekts
Skaidrs ģeneratīvā mākslīgā intelekta skaidrojums, tā darbības princips un praktiskie pielietojumi.

🔗 Kas ir aģentūriskā mākslīgā intelekta (AI)
Aģentūras mākslīgā intelekta, autonomās uzvedības un reālās pasaules lietojumprogrammu modeļu pārskats.

🔗 Kas ir mākslīgā intelekta mērogojamība
Uzziniet, kā droši, efektīvi un rentabli mērogot mākslīgā intelekta sistēmas.

🔗 Kas ir mākslīgā intelekta programmatūras ietvars?
Mākslīgā intelekta programmatūras ietvaru, arhitektūras priekšrocību un ieviešanas pamatu sadalījums.

Kas ir Edge AI? Īsa definīcija 🧭

Edge AI ir prakse, kurā apmācītu mašīnmācīšanās modeļu darbība tiek veikta tieši uz ierīcēm, kas apkopo datus, vai to tuvumā — tālruņiem, kamerām, robotiem, automašīnām, valkājamām ierīcēm, rūpnieciskajiem kontrolieriem utt. Tā vietā, lai nosūtītu neapstrādātus datus uz attāliem serveriem analīzei, ierīce apstrādā ievades datus lokāli un nosūta tikai kopsavilkumus vai neko. Mazāk apļveida savienojumu, mazāka aizkave, lielāka kontrole. Ja vēlaties skaidru, no pārdevēja neatkarīgu skaidrojumu, sāciet šeit. [1]

Kas padara Edge AI patiesībā noderīgu? 🌟

• Zema latentuma — lēmumi tiek pieņemti ierīcē, tāpēc reakcijas uztveres uzdevumos, piemēram, objektu noteikšanā, modināšanas vārdu atpazīšanā vai anomāliju brīdinājumos, ir tūlītējas. [1]

• Konfidencialitāte atkarībā no atrašanās vietas — sensitīvi dati var palikt ierīcē, samazinot pakļaušanu riskam un palīdzot diskusijās par datu minimizēšanu. [1]

• Joslas platuma ietaupījums — sūtiet funkcijas vai notikumus neapstrādātu straumju vietā. [1]

• Noturība — darbojas nestabilas savienojamības gadījumā.

• Izmaksu kontrole — mazāk mākoņdatošanas ciklu un mazāk izejošo datu.

• Konteksta apzināšanās — ierīce “sajūt” vidi un pielāgojas.

Īsa anekdote: mazumtirdzniecības pilotprojektā tika izmantota pastāvīga kameru augšupielāde, kas tika aizstāta ar ierīcē iebūvētu personu un objektu klasifikāciju, un tika publicēti tikai ikstundas skaitļi un izņēmumu klipi. Rezultāts: brīdinājumi plauktu malā, kas ir mazāki par 200 ms, un ~90% samazinājums augšupielādes datplūsmā, nemainot veikala WAN līgumus. (Metode: lokāla secinājuma veikšana, notikumu grupēšana, tikai anomālijas.)

Edge AI pret mākoņa AI — ātra salīdzināšana 🥊

• Kur notiek skaitļošana : perifērijas tīkls = ierīcē/ierīces tuvumā; mākonis = attālināti datu centri.

• Latentums : mala ≈ reāllaikā; mākonim ir apļveida savienojumi.

• Datu kustība : vispirms tiek veikta perifērijas filtrēšana/saspiežšana; mākonim patīk pilnas precizitātes augšupielādes.

• Uzticamība : perifērijas tīkls turpina darboties bezsaistē; mākonim ir nepieciešams savienojums.

• Pārvaldība : perifērijas tehnoloģijas atbalsta datu minimizēšanu; mākonis centralizē uzraudzību. [1]

Tā nav “vai nu” pieeja. Viedās sistēmas apvieno abus: ātru lokālu lēmumu pieņemšanu, padziļinātu analīzi un autoparka apguvi centralizēti. Hibrīda atbilde ir garlaicīga, bet pareiza.

Kā Edge AI faktiski darbojas zem pārsega 🧩

1. Sensori uztver neapstrādātus signālus — audio kadrus, kameras pikseļus, IMU pieskārienus, vibrācijas pēdas.

2. Priekšapstrāde pārveido šos signālus par modelim draudzīgām funkcijām.

3. Secinājumu izpildlaiks ierīcē izpilda kompaktu modeli, izmantojot paātrinātājus, ja tādi ir pieejami.

4. Pēcapstrāde pārvērš izvades datus notikumos, etiķetēs vai vadības darbībās.

5. Telemetrija augšupielādē tikai to, kas ir noderīgs: kopsavilkumus, anomālijas vai periodiskas atsauksmes.

Ierīcēs pieejamās izpildlaika vides ietver Google LiteRT (agrāk TensorFlow Lite), ONNX Runtime un Intel OpenVINO . Šīs rīku ķēdes samazina caurlaidspēju no ierobežota enerģijas/atmiņas budžeta, izmantojot tādus trikus kā kvantēšana un operatoru sapludināšana. Ja jums patīk pamatprincipi, to dokumentācija ir pamatota. [3][4]

Kur tas parādās — reāli lietošanas gadījumi, uz kuriem varat norādīt 🧯🚗🏭

• Redze perifērijā : durvju zvanu kameras (cilvēki pret mājdzīvniekiem), plauktu skenēšana mazumtirdzniecībā, defektu noteikšana ar droniem.

• Audio ierīcē : modināšanas vārdi, diktēšana, noplūžu noteikšana augos.

• Rūpnieciskais lietu internets (IoT) : motori un sūkņi tiek uzraudzīti, lai noteiktu vibrācijas anomālijas pirms kļūmes.

• Automobiļi : vadītāja uzraudzība, joslu noteikšana, parkošanās palīgsistēmas — mazāk nekā sekundes laikā vai ļoti ātri.

• Veselības aprūpe : valkājamās ierīces lokāli atzīmē aritmijas; sinhronizē kopsavilkumus vēlāk.

• Viedtālruņi : fotoattēlu uzlabošana, surogātpasta zvanu noteikšana, brīži “kā mans tālrunis to izdarīja bezsaistē”.

Formālas definīcijas (un "miglas pret malu" brālēna valodu) skatiet NIST konceptuālajā modelī. [2]

Aparatūra, kas padara to ātru 🔌

Dažas platformas tiek bieži pārbaudītas pēc nosaukumiem:

• NVIDIA Jetson — ar GPU darbināmi moduļi robotiem/kamerām — Šveices armijas naža vibrācijas iegultajam mākslīgajam intelektam.

• Google Edge TPU + LiteRT — efektīva veselu skaitļu secināšana un optimizēta izpildlaika īpaši mazas jaudas projektiem. [3]

• Apple Neural Engine (ANE) — precīza mašīnmācīšanās (ML) iPhone, iPad un Mac ierīcēm; Apple ir publicējis praktiskus darbus par transformatoru efektīvu izvietošanu ANE. [5]

• Intel centrālie procesori/iGPU/NPU ar OpenVINO — “rakstīt vienreiz, izvietot jebkur” visā Intel aparatūrā; noderīgas optimizācijas gaitas.

• ONNX izpildlaiks visur — neitrāls izpildlaiks ar pievienojamiem izpildes nodrošinātājiem tālruņos, datoros un vārtejās. [4]

Vai jums tie visi ir nepieciešami? Ne gluži. Izvēlieties vienu spēcīgu ceļu, kas atbilst jūsu autoparkam, un pieturieties pie tā — darbinieku mainība ir integrētu komandu ienaidnieks.

Programmatūras komplekts — īsa apskate 🧰

• Modeļa saspiešana : kvantēšana (bieži vien līdz int8), atzarošana, destilācija.

• Operatora līmeņa paātrinājums : kodoli, kas noregulēti uz jūsu silīciju.

• Izpildlaiki : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Izvietošanas apvalki : konteineri/lietotņu pakotnes; dažreiz mikropakalpojumi vārtejās.

• MLOps perifērijas sistēmām : OTA modeļa atjauninājumi, A/B ieviešana, telemetrijas cilpas.

• Konfidencialitātes un drošības kontrole : šifrēšana ierīcē, droša sāknēšana, atestācija, enklāvi.

Mini gadījums: inspekcijas dronu komanda destilēja smagsvara detektoru kvantizētā studentu modelī LiteRT vajadzībām un pēc tam ierīcē sapludināja NMS. Lidojuma laiks uzlabojās par ~15%, pateicoties mazākai skaitļošanas slodzei; augšupielādes apjoms samazinājās līdz izņēmumu kadriem. (Metode: datu kopas iegūšana uz vietas, pēc kvantitatīvas kalibrēšanas, ēnu režīma A/B pirms pilnīgas ieviešanas.)

Salīdzināšanas tabula — populāras Edge AI opcijas 🧪

Īsta saruna: šis galds ir ar savu viedokli un mazliet nekārtīgs — gluži kā reālā pasaule.

Kā izvēlēties Edge AI ceļu — neliels lēmumu koks 🌳

• Grūti dzīvot reāllaikā? Sāc ar akseleratoriem + kvantētiem modeļiem.

• Daudz ierīču tipu? Pārnesamības labad izvēlieties ONNX Runtime vai OpenVINO. [4]

• Vai jūs izvietojat mobilo lietotni? LiteRT ir vismazākās pretestības ceļš. [3]

• Robotika vai kameru analītika? Jetson GPU draudzīgās operācijas ietaupa laiku.

• Stingra privātuma politika? Glabājiet datus lokāli, šifrējiet tos miera stāvoklī, reģistrējiet apkopotus datus, nevis neapstrādātus kadrus.

• Maza komanda? Izvairieties no eksotiskām rīku ķēdēm — garlaicīgs ir skaists.

• Modeļi bieži mainīsies? Plānojiet OTA un telemetriju jau no pirmās dienas.

Riski, ierobežojumi un garlaicīgās, bet svarīgās lietas 🧯

• Modeļa nobīde — mainās vides; uzraugiet sadalījumus, palaidiet ēnu režīmus, periodiski pārkvalificējiet.

• Datoru ierobežojumi — ierobežota atmiņa/jauda piespiež mazākus modeļus vai mazāk precīzus datus.

• Drošība — pieņemiet fizisku piekļuvi; izmantojiet drošu sāknēšanu, parakstītus artefaktus, atestāciju, pakalpojumus ar vismazākajām privilēģijām.

• Datu pārvaldība — lokāla apstrāde palīdz, taču joprojām ir nepieciešama piekrišana, datu saglabāšana un tvēruma telemetrija.

• Autoparka operācijas — ierīces atvienojas vissliktākajos laikos; izstrādājiet atliktus atjauninājumus un atsākamas augšupielādes.

• Talantu sajaukums — iegultās tehnoloģijas + mašīnmācīšanās + DevOps — ir raiba komanda; savstarpēji apmācieties jau laikus.

Praktisks ceļvedis, lai nosūtītu kaut ko noderīgu 🗺️

1. Izvēlieties vienu lietošanas gadījumu ar izmērāmu vērtības defektu noteikšanu 3. rindā, modināšanas vārdu viedajā skaļrunī utt.

2. Apkopojiet sakārtotu datu kopu, kas atspoguļo mērķa vidi; ievadiet troksni, lai tas atbilstu realitātei.

3. Prototips uz izstrādes komplekta tuvu ražošanas aparatūrai.

4. Saspiest modeli ar kvantizāciju/apgriešanu; godīgi izmērīt precizitātes zudumu. [3]

5. Ietiniet secinājumus tīrā API ar pretspiedienu un sargsuņiem, jo ​​ierīces uzkaras pulksten 2 naktī

6. Izveidojiet telemetriju , kas ievēro privātumu: sūtījumu skaits, histogrammas, no malas iegūtas funkcijas.

7. Pastiprināta drošība : parakstītas binārie faili, droša sāknēšana, minimāli atvērti pakalpojumi.

8. Plāna OTA : pakāpeniska ieviešana, kanārijputniņi, tūlītēja atcelšana.

9. izmēģini sarežģītā stūra kastītē — ja tas tur izdzīvos, tas izdzīvos jebkur.

10. Mērogojiet ar rokasgrāmatu : kā pievienosiet modeļus, rotēsiet atslēgas, arhivēsiet datus, lai 2. projekts nebūtu haoss.

Bieži uzdotie jautājumi — īsas atbildes uz par Edge AI ❓

Vai Edge AI vienkārši darbina nelielu modeli uz miniatūra datora?
Lielākoties jā, taču izmērs nav viss stāsts. Tas ir saistīts arī ar latentuma budžetiem, privātuma solījumiem un daudzu ierīču saskaņošanu, kas darbojas lokāli, bet mācās globāli. [1]

Vai varu trenēties arī perifērijā?
Pastāv viegla apmācība/personalizācija ierīcē; smagāka apmācība joprojām notiek centralizēti. ONNX Runtime dokumentē apmācības iespējas ierīcē, ja esat piedzīvojumu meklētājs. [4]

Kas ir Edge AI salīdzinājumā ar miglas skaitļošanu?
Migla un Edge AI ir brālēni. Abas pietuvina skaitļošanas metodes datu avotiem, dažreiz izmantojot tuvumā esošas vārtejas. Formālas definīcijas un kontekstu skatiet NIST [2].

Vai Edge AI vienmēr uzlabo privātumu?
Tas palīdz, taču tā nav maģija. Joprojām ir nepieciešama minimizēšana, droši atjauninājumu ceļi un rūpīga reģistrēšana. Uztveriet privātumu kā ieradumu, nevis izvēles rūtiņu.

Padziļināti raksti, kurus jūs, iespējams, patiešām izlasīsiet 📚

1) Modeļa optimizācija, kas neietekmē precizitāti

Kvantēšana var samazināt atmiņas apjomu un paātrināt darbības, taču kalibrēšana ar reprezentatīviem datiem var izraisīt vāveru halucinācijas vietās, kur ir satiksmes konusi. Destilācija – skolotājs vada mazāku studentu – bieži vien saglabā semantiku. [3]

2) Malu secinājumu izpildes laiki praksē

LiteRT interpretētājs ir apzināti radīts bez statiskas atmiņas zuduma izpildes laikā. ONNX Runtime pieslēdzas dažādiem paātrinātājiem, izmantojot izpildes nodrošinātājus. Neviens no tiem nav brīnumlīdzeklis; abi ir stabili āmuri. [3][4]

3) Izturība savvaļā

Karstums, putekļi, nestabila barošana, nevērīgs Wi-Fi: izveidojiet sargsuņus, kas restartē tīkla savienojumus, kešatmiņā saglabā lēmumus un saskaņo datus, kad tīkls atgriežas. Mazāk glauni nekā uzmanības centrā esošās ierīces, taču svarīgāki.

Frāze, ko atkārtosiet sanāksmēs — Kas ir Edge AI 🗣️

Edge AI pietuvina intelektu datiem, lai izpildītu praktiskus latentuma, privātuma, joslas platuma un uzticamības ierobežojumus. Maģija nav viena mikroshēma vai ietvars — tā ir gudra izvēle, ko un kur aprēķināt.

Noslēguma piezīmes — pārāk gari, es tos neizlasīju 🧵

Edge AI darbina modeļus datu tuvumā, lai produkti šķistu ātri, privāti un stabili. Jūs apvienosiet lokālo secinājumu veikšanu ar mākoņa pārraudzību, lai iegūtu labāko no abām pasaulēm. Izvēlieties izpildlaiku, kas atbilst jūsu ierīcēm, kad vien iespējams, izmantojiet paātrinātājus, uzturiet modeļus kārtīgus, izmantojot saspiešanu, un izstrādājiet autoparka darbības tā, it kā jūsu darbs būtu no tā atkarīgs — jo, nu, tas tā varētu būt. Ja kāds jautā, kas ir Edge AI , sakiet: gudri lēmumi, pieņemti lokāli, laikā. Pēc tam smaidiet un mainiet tēmu uz akumulatoriem. 🔋🙂

Atsauces

1. IBM — Kas ir Edge AI? (definīcija, priekšrocības).
   https://www.ibm.com/think/topics/edge-ai

2. NIST — SP 500-325: Miglas skaitļošanas konceptuālais modelis (formāls konteksts miglai/malai).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge — LiteRT (agrāk TensorFlow Lite) (izpildlaiks, kvantēšana, migrācija).
   https://ai.google.dev/edge/litert

4. ONNX izpildlaiks — apmācība ierīcē (pārnēsājama izpildlaika vide + apmācība perifērijas ierīcēs).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Apple Machine Learning Research — Transformeru izvietošana Apple Neural Engine vidē (ANE efektivitātes piezīmes).
   https://machinelearning.apple.com/research/neural-engine-transformers

Atrodiet jaunāko mākslīgo intelektu oficiālajā mākslīgā intelekta palīgu veikalā

Par mums