Ko dara mākslīgā intelekta inženieri

Ko dara mākslīgā intelekta inženieri?

Vai esi kādreiz domājis, kas slēpjas aiz modes vārda “mākslīgā intelekta inženieris”? Es arī tā domāju. No malas tas izklausās krāšņi, bet patiesībā tas ir vienlīdzīgs dizaina darbs, haotisku datu apstrāde, sistēmu savienošana kopā un apsēsta pārbaude, vai lietas darbojas tā, kā paredzēts. Ja vēlies vienas rindas versiju: ​​viņi pārvērš neskaidras problēmas darbojošās mākslīgā intelekta sistēmās, kas nesabrūk, kad parādās īsti lietotāji. Garāks, nedaudz haotiskāks variants - nu, tas ir zemāk. Iedzer kofeīnu. ☕

Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:

🔗 Mākslīgā intelekta rīki inženieriem: efektivitātes un inovāciju veicināšana
Atklājiet jaudīgus mākslīgā intelekta rīkus, kas uzlabo inženierijas produktivitāti un radošumu.

🔗 Vai programmatūras inženierus aizstās mākslīgais intelekts?
Izpētiet programmatūras inženierijas nākotni automatizācijas laikmetā.

🔗 Mākslīgā intelekta inženiertehniskie pielietojumi, kas pārveido nozares
Uzziniet, kā mākslīgais intelekts pārveido rūpnieciskos procesus un veicina inovācijas.

🔗 Kā kļūt par mākslīgā intelekta inženieri
Soli pa solim sniegta rokasgrāmata, lai sāktu savu ceļojumu uz karjeru mākslīgā intelekta inženierijā.

Īss ieskats: ko īsti dara mākslīgā intelekta inženieris 💡

Vienkāršākajā līmenī mākslīgā intelekta inženieris projektē, būvē, piegādā un uztur mākslīgā intelekta sistēmas. Ikdienas darbs parasti ietver:

  • Neskaidru produktu vai biznesa vajadzību pārvēršana kaut kādā veidā, ko modeļi faktiski var apstrādāt.

  • Datu vākšana, marķēšana, tīrīšana un — neizbēgami — atkārtota pārbaude, kad tie sāk izzust.

  • Modeļu izvēle un apmācība, to novērtēšana ar pareizajiem rādītājiem un to trūkumu pierakstīšana.

  • Visa procesa iesaiņošana MLOps cauruļvados, lai to varētu testēt, izvietot un novērot.

  • Vērojot to dabā: precizitāte, drošība, taisnīgums… un pielāgojoties, pirms tas izslīd no sliedēm.

Ja domājat “tātad tā ir programmatūras inženierija plus datu zinātne ar šķipsniņu produktu domāšanas” – jā, tas arī viss.

Kas atšķir labus mākslīgā intelekta inženierus no pārējiem ✅

Jūs varat zināt visus arhitektūras rakstus, kas publicēti kopš 2017. gada, un joprojām radīt trauslu haosu. Cilvēki, kuriem šajā amatā klājas labi, parasti:

  • Domājiet sistēmās. Viņi redz visu ciklu: datus ienāk, lēmumus izvada, visu var izsekot.

  • Nevajag vispirms dzīties pakaļ maģijai. Pirms sarežģītības sakrāšanas izdariet bāzes līnijas un vienkāršas pārbaudes.

  • Iegūstiet atsauksmes. Pārapmācība un atcelšana nav papildu funkcijas, bet gan daļa no dizaina.

  • Pierakstiet lietas. Kompromisi, pieņēmumi, ierobežojumi – garlaicīgi, bet vēlāk par to būs runa.

  • Uztveriet atbildīgu mākslīgo intelektu nopietni. Riski nepazūd optimisma dēļ, tie tiek reģistrēti un pārvaldīti.

Īss stāsts: Viena atbalsta komanda sāka ar neapdomīgiem noteikumiem un izguves bāzes līniju. Tas viņiem deva skaidrus pieņemšanas testus, tāpēc, kad viņi vēlāk nomainīja lielu modeli, viņiem bija skaidras salīdzināšanas iespējas un vienkārša rezerves metode, ja tas nedarbojās pareizi.

Dzīves cikls: haotiska realitāte pretstatā glītām diagrammām 🔁

  1. Noformulējiet problēmu. Definējiet mērķus, uzdevumus un to, kā izskatās “pietiekami labs”.

  2. Veiciet datu apstrādi. Tīriet, marķējiet, sadaliet, versijas. Validējiet bezgalīgi, lai pamanītu shēmas novirzes.

  3. Modeļu eksperimenti. Izmēģiniet vienkāršus risinājumus, pārbaudiet bāzes līnijas, atkārtojiet, dokumentējiet.

  4. Nosūtiet to. CI/CD/CT cauruļvadi, droša izvietošana, kanārijputniņi, atcelšana.

  5. Sekojiet līdzi. Uzraugiet precizitāti, latentumu, novirzi, taisnīgumu, lietotāju rezultātus. Pēc tam pārkvalificējieties.

Slaidā tas izskatās pēc glīta apļa. Praksē tas vairāk līdzinās žonglēšanai ar spageti ar slotu.

Atbildīgs mākslīgais intelekts, kad gumija nonāk uz ceļa 🧭

Runa nav par skaistiem slaidu komplektiem. Inženieri paļaujas uz ietvariem, lai padarītu risku reālu:

  • NIST mākslīgā intelekta RMF sniedz struktūru risku noteikšanai, mērīšanai un pārvaldībai visā projektēšanas procesā līdz pat ieviešanai [1].

  • ESAO principi darbojas vairāk kā kompass — plašas vadlīnijas, kurām pielāgojas daudzas organizācijas [2].

Daudzas komandas arī izveido savus kontrolsarakstus (privātuma pārskatus, cilvēka mijiedarbības vārtus), kas ir piesaistīti šiem dzīves cikliem.

Dokumenti, kas nešķiet neobligāti: modeļu kartītes un datu lapas 📝

Divi dokumenti, par kuriem vēlāk pateiksies:

  • Modeļu kartītes → norāda paredzēto lietojumu, izvērtē kontekstus, brīdinājumus. Sarakstītas tā, lai arī produktu/juridiskie speciālisti varētu sekot līdzi [3].

  • Datu kopu datu lapas → paskaidrojiet, kāpēc dati pastāv, kas tajos ir ietverts, iespējamās neobjektivitātes un drošus vai nedrošus lietošanas veidus [4].

Nākotnē tu (un nākotnes komandas biedri) klusībā sasveicināsies ar "pieci" par to uzrakstīšanu.

Padziļināta izpēte: datu plūsmas, līgumi un versiju veidošana 🧹📦

Dati kļūst nepaklausīgi. Gudri mākslīgā intelekta inženieri nodrošina līgumu izpildi, saglabā pārbaudes un sasaista versijas ar kodu, lai jūs varētu vēlāk pārskatīt datus.

  • Validācija → shēmas, diapazonu, svaiguma kodēšana; dokumentu automātiska ģenerēšana.

  • Versiju veidošana → sakārtojiet datu kopas un modeļus ar Git commit, lai jums būtu izmaiņu žurnāls, kuram varat uzticēties.

Neliels piemērs: viens mazumtirgotājs ievadīja shēmas pārbaudes, lai bloķētu piegādātāju plūsmas, kas bija pilnas ar nullēm. Šis vienīgais kļūdas ziņojums apturēja atkārtotus recall@k kritumus, pirms klienti to pamanīja.

Padziļināta analīze: piegāde un mērogošana 🚢

Modeļa palaišana prod komandā nav tikai model.fit() . Šeit iekļauts šāds rīku komplekts:

  • Docker konsekventai iepakošanai.

  • Kubernetes orķestrēšanai, mērogošanai un drošai ieviešanai.

  • MLOps ietvari kanārijputniņiem, A/B sadalījumiem, noviržu noteikšanai.

Aizkulisēs notiek veselības pārbaudes, izsekošana, CPU un GPU plānošana, taimauta regulēšana. Nevis glauni, bet absolūti nepieciešami.

Padziļināta izpēte: GenAI sistēmas un RAG 🧠📚

Ģeneratīvās sistēmas sniedz vēl vienu pavērsienu — atgūšanas zemējumu.

  • Iegulšana + vektoru meklēšana līdzības meklēšanai ātrā ātrumā.

  • Orķestrācijas bibliotēkas ķēdes izguvei, rīku lietošanai, pēcapstrādei.

Izvēles iespējas fragmentu kārtošanā, atkārtotā ranžēšanā, novērtēšanā — šie mazie lēmumi nosaka, vai iegūsiet neveiklu tērzēšanas robotu vai noderīgu līdzpilotu.

Prasmes un rīki: kas patiesībā ir komplektā 🧰

Dažādi klasiskie mašīnmācīšanās un dziļās mācīšanās rīki:

  • Ietvari: PyTorch, TensorFlow, scikit-learn.

  • Cauruļvadi: gaisa plūsma utt. plānotajiem darbiem.

  • Ražošana: Docker, K8s, apkalpošanas ietvari.

  • Novērojamība: nobīdes monitori, latentuma izsekotāji, godīguma pārbaudes.

Neviens neizmanto visu . Knifs ir pietiekami daudz zināšanu par visu dzīves ciklu, lai varētu saprātīgi spriest.

Instrumentu tabula: pie kā inženieri patiesībā sniedzas 🧪

Rīks Auditorija Cena Kāpēc tas ir ērti
PyTorch Pētnieki, inženieri Atvērtā pirmkoda Elastīgi, pythonic, milzīga kopiena, pielāgoti tīkli.
TensorFlow Produktorientētas komandas Atvērtā pirmkoda Ekosistēmas dziļums, TF apkalpošana un Lite izvietošanai.
scikit-learn Klasiskie mašīnmācīšanās lietotāji Atvērtā pirmkoda Lieliskas bāzes līnijas, sakārtota API, iebūvēta priekšapstrāde.
MLflow Komandas ar daudziem eksperimentiem Atvērtā pirmkoda Saglabā sēriju, modeļu un artefaktu kārtību.
Gaisa plūsma Cauruļvadu ļaudis Atvērtā pirmkoda DAG, plānošana, novērojamība pietiekami laba.
Dokers Būtībā visi Bezmaksas kodols Vide (lielākoties) tā pati. Mazāk strīdu par to, ka "darbojas tikai manā klēpjdatorā".
Kubernetes Infrasarkanās komandas Atvērtā pirmkoda Automātiska mērogošana, ieviešana, uzņēmuma līmeņa muskuļi.
Modelis, kas apkalpo K8 K8s modeļa lietotāji Atvērtā pirmkoda Standarta porcija, dreifējoši āķi, mērogojami.
Vektoru meklēšanas bibliotēkas RAG celtnieki Atvērtā pirmkoda Ātra līdzība, GPU draudzīga.
Pārvaldīti vektoru veikali Uzņēmuma RAG komandas Apmaksāti līmeņi Bezserveru indeksi, filtrēšana, uzticamība plašā mērogā.

Jā, frāzējums šķiet nevienmērīgs. Rīku izvēle parasti tāda ir.

Panākumu mērīšana, neiegrimstot skaitļos 📏

Svarīgie rādītāji ir atkarīgi no konteksta, bet parasti tie ir dažādu faktoru kombinācija:

  • Prognozēšanas kvalitāte: precizitāte, atcerēšanās, F1, kalibrēšana.

  • Sistēma + lietotājs: latentums, p95/p99, konversiju pieaugums, pabeigšanas rādītāji.

  • Taisnīguma rādītāji: paritāte, atšķirīga ietekme — tiek izmantoti uzmanīgi [1][2].

Metrikas pastāv, lai atklātu kompromisus. Ja to nav, nomainiet tās.

Sadarbības modeļi: tas ir komandas sports 🧑🤝🧑

Mākslīgā intelekta inženieri parasti sēž krustojumā ar:

  • Produkta un domēna speciālisti (definējiet panākumus, aizsargbarjeras).

  • Datu inženieri (avoti, shēmas, SLA).

  • Drošība/juridiskā joma (privātums, atbilstība).

  • Dizains/pētniecība (lietotāju testēšana, īpaši GenAI).

  • Operāciju/SRE (darba laika un ugunsgrēka trauksmes mācības).

Sagaidiet ar švīkojumiem klātas tāfeles un reizēm karstas debates par metriku — tas ir veselīgi.

Kļūdas: tehnisko parādu purvs 🧨

Mašīnmācīšanās sistēmas piesaista slēptus parādus: sapinušās konfigurācijas, trauslas atkarības, aizmirstus līmes skriptus. Profesionāļi izveido aizsargbarjeras — datu testus, tipizētas konfigurācijas, atcelšanu —, pirms purvs izaug. [5]

Veselā saprāta uzturētāji: prakse, kas palīdz 📚

  • Sāciet ar mazumiņu. Pirms modeļu sarežģīšanas pierādiet, ka cauruļvads darbojas.

  • MLOps cauruļvadi. CI datiem/modeļiem, CD pakalpojumiem, CT pārapmācībai.

  • Atbildīgā mākslīgā intelekta kontrolsaraksti. Pielāgoti jūsu organizācijai, ar tādiem dokumentiem kā modeļu kartītes un datu lapas [1][3][4].

Ātra bieži uzdoto jautājumu atkārtošana: viena teikuma atbilde 🥡

Mākslīgā intelekta inženieri veido pilnīgas sistēmas, kas ir noderīgas, pārbaudāmas, izvietojamas un zināmā mērā drošas, vienlaikus skaidri norādot kompromisus, lai neviens nebūtu neziņā.

TL;DR 🎯

  • Viņi ņem izplūdušas problēmas → uzticamas mākslīgā intelekta sistēmas, izmantojot datu apstrādi, modelēšanu, MLOp un uzraudzību.

  • Labākie vispirms visu padara vienkāršu, nenogurstoši mēra un dokumentē pieņēmumus.

  • Ražošanas mākslīgais intelekts = cauruļvadi + principi (integrācija/kompilācija/kontrole, taisnīgums, kur nepieciešams, iestrādāta riska domāšana).

  • Instrumenti ir tikai instrumenti. Izmantojiet tikai to minimumu, kas ļauj jums veikt vilciens → sliedes → apkalpot → novērot.

Atsauces saites

  1. NIST AI RMF (1.0). Saite

  2. ESAO mākslīgā intelekta principi. Saite

  3. Modeļu kartes (Mitchell et al., 2019). Saite

  4. Datu kopu datu lapas (Gebru et al., 2018/2021). Saite

  5. Slēptais tehniskais parāds (Sculley et al., 2015). Saite

Atrodiet jaunāko mākslīgo intelektu oficiālajā mākslīgā intelekta palīgu veikalā

Par mums

Atpakaļ uz emuāru