Ja veidojat vai novērtējat mašīnmācīšanās sistēmas, agrāk vai vēlāk jūs sastapsities ar vienu un to pašu šķērsli: marķētiem datiem. Modeļi maģiski nezina, kas ir kas. Cilvēkiem, politikām un dažreiz programmām ir jāapmāca tie. Tātad, kas ir AI datu marķēšana? Īsāk sakot, tā ir prakse pievienot nozīmi neapstrādātiem datiem, lai algoritmi varētu no tiem mācīties…😊
🔗 Kas ir mākslīgā intelekta ētika?
Pārskats par ētikas principiem, kas vada atbildīgu mākslīgā intelekta izstrādi un ieviešanu.
🔗 Kas ir MCP mākslīgajā intelektā?
Izskaidro modeļa vadības protokolu un tā lomu mākslīgā intelekta uzvedības pārvaldībā.
🔗 Kas ir perifērijas mākslīgais intelekts
Aptver, kā mākslīgais intelekts apstrādā datus tieši ierīcēs perifērijā.
🔗 Kas ir aģentūriskā mākslīgā intelekta (AI)
Iepazīstina ar autonomiem mākslīgā intelekta aģentiem, kas spēj plānot, spriest un rīkoties patstāvīgi.
Kas īsti ir AI datu marķēšana? 🎯
Mākslīgā intelekta datu marķēšana ir process, kurā neapstrādātiem ievades datiem, piemēram, tekstam, attēliem, audio, video vai laika rindām, tiek pievienotas cilvēkam saprotamas atzīmes, aptveres, lodziņi, kategorijas vai vērtējumi, lai modeļi varētu noteikt modeļus un veikt prognozes. Iedomājieties ierobežojošos lodziņus ap automašīnām, entītiju atzīmes uz cilvēkiem un vietām tekstā vai preferenču balsojumus par to, kura tērzēšanas robota atbilde šķiet noderīgāka. Bez šīm atzīmēm klasiskā uzraudzītā mācīšanās nekad neiesaistās.
Jūs dzirdēsiet arī apzīmējumus, ko sauc par pamata patiesību vai zelta datiem : saskaņotas atbildes ar skaidriem norādījumiem, ko izmanto, lai apmācītu, validētu un auditētu modeļa uzvedību. Pat pamatmodeļu un sintētisko datu laikmetā apzīmētās kopas joprojām ir svarīgas novērtēšanai, precizēšanai, drošības "sarkanās komandas" izmantošanai un garastes malas gadījumiem, t. i., kā jūsu modelis uzvedas, reaģējot uz dīvainām lietām, ko jūsu lietotāji faktiski dara. Nav bezmaksas pusdienu, tikai labāki virtuves rīki.
Kas veido labu mākslīgā intelekta datu marķēšanu ✅
Vienkārši sakot: labs marķējums ir garlaicīgs labākajā nozīmē. Tas šķiet paredzams, atkārtojams un nedaudz pārāk dokumentēts. Lūk, kā tas izskatās:
-
Stingra ontoloģija : nosauktais klašu, atribūtu un attiecību kopums, kas jūs interesē.
-
Kristāla instrukcijas : praktiski piemēri, pretpiemēri, īpaši gadījumi un taibreika noteikumi.
-
Recenzentu cikli : otrs acu pāris uz uzdevumu daļu.
-
Saskaņošanas metrika : anotatoru savstarpējā saskaņa (piemēram, Koena κ, Kripendorfa α), lai mērītu konsekvenci, nevis vibrācijas. α ir īpaši noderīga, ja trūkst etiķešu vai vairāki anotatori aptver dažādus vienumus [1].
-
Dārzkopība no malas : regulāri vāc dīvainus, pretrunīgus vai vienkārši retus gadījumus.
-
Neobjektivitātes pārbaudes : pārbaudiet datu avotus, demogrāfiskos datus, reģionus, dialektus, apgaismojuma apstākļus un citus faktorus.
-
Izcelsme un privātums : izsekojiet datu izcelsmi, to izmantošanas tiesības un to, kā tiek apstrādāta personu identificējoša informācija (kas tiek uzskatīta par personu identificējošu informāciju, kā to klasificējat un kādi ir drošības pasākumi) [5].
-
Atsauksmes par apmācību : etiķetes nedzīvo izklājlapu kapsētā — tās veicina aktīvu mācīšanos, precizēšanu un novērtēšanu.
Neliela atzīšanās: jūs dažas reizes pārrakstīsiet savas vadlīnijas. Tas ir normāli. Tāpat kā sautējuma garšvielu pievienošana, neliela pielāgošana sniedz lielu ieguldījumu.
Ātrs piemērs: viena komanda savam lietotāja interfeisam pievienoja vienu opciju “nevaru izlemt — nepieciešama politika”. Piekrišana pieauga, jo anotatori pārtrauca uzspiest minējumus, un lēmumu žurnāls vienas nakts laikā kļuva asāks. Garlaicīgas uzvaras.
Salīdzināšanas tabula: rīki AI datu marķēšanai 🔧
Nav izsmeļošs, un jā, formulējums ir nedaudz neskaidrs apzināti. Cenu izmaiņas — pirms budžeta veidošanas vienmēr pārbaudiet tās pārdevēju vietnēs.
| Rīks | Vislabāk piemērots | Cenas stils (indikatīvi) | Kāpēc tas darbojas |
|---|---|---|---|
| Etiķešu lodziņš | Uzņēmumi, CV + NLP sajaukums | Uz lietošanu balstīts, bezmaksas līmenis | Labas kvalitātes nodrošināšanas darbplūsmas, ontoloģijas un metrikas; diezgan labi tiek galā ar mērogojamību. |
| AWS SageMaker zemes patiesība | AWS centrētas organizācijas, HITL cauruļvadi | Uzdevumam + AWS lietojums | Stingri savietojams ar AWS pakalpojumiem, cilvēka iesaistes iespējām un spēcīgiem infrastruktūras āķiem. |
| Mērogošanas mākslīgais intelekts | Sarežģīti uzdevumi, pārvaldīts darbaspēks | Pielāgots piedāvājums, daudzpakāpju | Pakalpojumi ar augstu klientu apkalpošanas līmeni, kā arī instrumentu nodrošināšana; spēcīgas operācijas sarežģītu, sarežģītu gadījumu gadījumā. |
| SuperAnnotate | Vīzijas vadītas komandas, jaunuzņēmumi | Līmeņi, bezmaksas izmēģinājums | Noslīpēta lietotāja saskarne, sadarbība, noderīgi modeļu atbalstīti rīki. |
| Brīnumbērns | Izstrādātāji, kuri vēlas lokālu kontroli | Mūža licence, vienai vietai | Skriptējams, ātri cikli, ātras receptes — darbojas lokāli; lieliski piemērots NLP. |
| Doccano | Atvērtā koda NLP projekti | Bezmaksas, atvērtā koda | Kopienas vadīts, viegli izvietojams, piemērots klasifikācijai un secības darbam |
Cenu noteikšanas modeļu reālā stāvokļa pārbaude : pārdevēji apvieno patēriņa vienības, maksas par katru uzdevumu, līmeņus, pielāgotus uzņēmuma piedāvājumus, vienreizējas licences un atvērtā pirmkoda programmatūru. Politikas mainās; pirms iepirkumu nodaļa ievada skaitļus izklājlapā, apstipriniet specifiku tieši ar pārdevēja dokumentiem.
Visizplatītākie etiķešu veidi ar ātriem prāta attēliem 🧠
-
Attēla klasifikācija : viena vai vairāku etiķešu tagi visam attēlam.
-
Objektu noteikšana : norobežojošie lodziņi vai pagriezti lodziņi ap objektiem.
-
Segmentācija : pikseļu līmeņa maskas — instance vai semantika; dīvainā kārtā apmierinoša, ja tā ir tīra.
-
Atslēgas punkti un pozas : orientieri, piemēram, locītavas vai sejas punkti.
-
NLP : dokumentu etiķetes, nosaukto entītiju aptveres, attiecības, atsauces saites, atribūti.
-
Audio un runa : transkripcija, runātāja dienasgrāmatas ieraksts, nolūka tagi, akustiskie notikumi.
-
Video : pa kadriem attēlotas kastes vai celiņi, laika notikumi, darbību nosaukumi.
-
Laika rindas un sensori : logu notikumi, anomālijas, tendenču režīmi.
-
Ģeneratīvās darbplūsmas : preferenču ranžēšana, drošības brīdinājuma signāli, patiesuma vērtēšana, uz rubrikām balstīta novērtēšana.
-
Meklēšana un RAG : vaicājuma-dokumenta atbilstība, atbildīgums, izguves kļūdas.
Ja attēls ir pica, segmentācija ir katras šķēles perfekta sagriešana, savukārt noteikšana ir norādīšana un paziņošana, ka kaut kur tur ir šķēle.
Darbplūsmas anatomija: no īsa apraksta līdz zelta datiem 🧩
Stabila marķēšanas cauruļvada forma parasti ir šāda:
-
Definējiet ontoloģiju : klases, atribūtus, attiecības un pieļaujamās neskaidrības.
-
Vadlīniju melnraksts : piemēri, robežgadījumi un sarežģīti pretpiemēri.
-
Apzīmējiet pilota komplektu : iegūstiet dažus simtus piemēru ar anotācijām, lai atrastu caurumus.
-
Mērījumu saskaņošana : aprēķiniet κ/α; pārskatiet instrukcijas, līdz anotatori konverģē [1].
-
Kvalitātes nodrošināšanas dizains : vienprātīga balsošana, lēmumu pieņemšana, hierarhiska pārskatīšana un izlases veida pārbaudes.
-
Ražošanas cikli : uzrauga caurlaidspēju, kvalitāti un novirzi.
-
Noslēdziet ciklu : pārkvalificējiet, atkārtoti izveidojiet paraugus un atjauniniet rubrikas, modelim un produktam attīstoties.
Padoms, par kuru vēlāk sev pateiksies: veiciet lēmumu pieņemšanas žurnālu . Pierakstiet katru pievienoto skaidrojošo noteikumu un paskaidrojumu . Nākotnē – jūs aizmirsīsiet kontekstu. Nākotnē – jūs par to būsiet īgns.
Cilvēcīga mijiedarbība, vāja uzraudzība un domāšanas veids “vairāk etiķešu, mazāk klikšķu” 🧑💻🤝
Cilvēka iesaistīšanās cilpā (HITL) nozīmē, ka cilvēki sadarbojas ar modeļiem apmācības, novērtēšanas vai reāllaika darbību laikā, apstiprinot, labojot vai atturējoties no modeļu ieteikumiem. Izmantojiet to, lai paātrinātu procesus, vienlaikus saglabājot cilvēku atbildību par kvalitāti un drošību. HITL ir pamatprakse uzticamā mākslīgā intelekta riska pārvaldībā (cilvēka uzraudzība, dokumentēšana, uzraudzība) [2].
Vāja uzraudzība ir atšķirīgs, bet papildinošs triks: programmatiski noteikumi, heiristika, attāla uzraudzība vai citi trokšņaini avoti ģenerē provizoriskas etiķetes plašā mērogā, pēc tam tās tiek noņemtas no trokšņa. Datu programmēšana popularizēja daudzu trokšņainu etiķešu avotu (t. i., marķēšanas funkciju ) apvienošanu un to precizitātes apgūšanu, lai izveidotu augstākas kvalitātes apmācības kopu [3].
Praksē ātrdarbīgas komandas apvieno visus trīs: manuālas etiķetes zelta kopām, vāju uzraudzību, lai sāktu darbu, un HITL, lai paātrinātu ikdienas darbu. Tā nav krāpšanās. Tā ir meistarība.
Aktīva mācīšanās: izvēlieties nākamo labāko lietu, ko apzīmēt 🎯📈
Aktīvā mācīšanās apgriež ierasto plūsmu otrādi. Tā vietā, lai nejauši atlasītu datus marķēšanai, jūs ļaujat modelim pieprasīt visinformatīvākos piemērus: augsta nenoteiktība, lielas domstarpības, dažādi pārstāvji vai punkti pie lēmumu pieņemšanas robežas. Ar labu izlasi jūs samazināt marķēšanas zudumus un koncentrējaties uz ietekmi. Mūsdienu aptaujas, kas aptver dziļu aktīvo mācīšanos, ziņo par labu sniegumu ar mazāku skaitu marķēšanas metožu, ja orākulu cikls ir labi izstrādāts [4].
Pamata recepte, ar kuru varat sākt, bez liekas drāmas:
-
Vilciens ar nelielu sēklu komplektu.
-
Novērtējiet neapzīmēto baseinu.
-
Izvēlieties augstāko K, pamatojoties uz nenoteiktību vai modeļa nesaskaņām.
-
Apzīmēt. Pārkvalificēt. Atkārtot nelielās partijās.
-
Sekojiet līdzi validācijas līknēm un atbilstības rādītājiem, lai netiktu dzenāti pēc trokšņa.
Jūs zināsiet, ka tas darbojas, kad jūsu modelis uzlabosies, nedubultojot ikmēneša marķēšanas rēķinus.
Kvalitātes kontrole, kas patiešām darbojas 🧪
Tev nav jāvāra okeāns. Centies veikt šīs pārbaudes:
-
Zelta jautājumi : ievadiet zināmus vienumus un izsekojiet katras etiķetes lietotāja precizitāti.
-
Vienprātība ar lēmumu : divas neatkarīgas etiķetes plus recenzents domstarpību gadījumā.
-
Anotatoru savstarpējā saskaņa : izmantojiet α, ja ir vairāki anotatori vai nepilnīgas etiķetes, κ pāriem; neaizraujieties ar vienu slieksni — konteksts ir svarīgs [1].
-
Vadlīniju pārskatīšana : atkārtotas kļūdas parasti nozīmē neskaidrus norādījumus, nevis sliktus anotatorus.
-
Drift pārbaudes : salīdziniet etiķešu sadalījumu laikā, ģeogrāfiski, ievades kanālos.
Ja izvēlaties tikai vienu rādītāju, izvēlieties atbilstību. Tas ir ātrs veselības signāls. Nedaudz kļūdaina metafora: ja jūsu etiķetes nav saskaņotas, jūsu modelis darbojas uz nestabiliem riteņiem.
Darbaspēka modeļi: iekšējais, BPO, kolektīvais vai hibrīds 👥
-
Iekšējais risinājums : vislabāk piemērots sensitīviem datiem, niansētām jomām un ātrai starpfunkcionālai apmācībai.
-
Specializēti piegādātāji : nemainīga caurlaidspēja, apmācīti kvalitātes nodrošināšanas speciālisti un pārklājums dažādās laika joslās.
-
Pūļa finansējums : lēts katram uzdevumam, taču jums būs nepieciešami spēcīgi zelta punkti un surogātpasta kontrole.
-
Hibrīds : saglabājiet galveno ekspertu komandu un izmantojiet ārējās jaudas.
Lai ko jūs izvēlētos, ieguldiet līdzekļus sākumposmos, vadlīniju apmācībā, kalibrēšanas kārtās un biežā atsauksmēs. Lētas etiķetes, kas piespiež trīs reizes pārmarķēt, nav lētas.
Izmaksas, laiks un ieguldījumu atdeve: ātra realitātes pārbaude 💸⏱️
Izmaksas tiek sadalītas darbaspēkā, platformā un kvalitātes nodrošināšanā. Lai veiktu aptuvenu plānošanu, izveidojiet savu projektu plūsmu šādi:
-
Caurlaidspējas mērķis : vienību skaits dienā uz vienu etiķešu printeri × etiķešu printeri.
-
Kvalitātes nodrošināšanas izmaksas : divkārši marķētu vai pārskatītu elementu %.
-
Pārstrādes ātrums : budžets atkārtotai anotācijai pēc vadlīniju atjaunināšanas.
-
Automatizācijas palielinājums : modeļu atbalstītas iepriekšējas etiķetes vai programmatiski noteikumi var samazināt manuālo piepūli par jēgpilnu daļu (nevis maģisku, bet jēgpilnu).
Ja iepirkumu nodaļa prasa norādīt skaitli, sniedziet modeli, nevis minējumu, un regulāri atjauniniet to, vadlīnijām stabilizējoties.
Kļūdas, kurās jūs sastapsiet vismaz vienu reizi, un kā no tām izvairīties 🪤
-
Instrukciju strauja attīstība : vadlīnijas pārvēršas īsā novelē. Labojums ar lēmumu kokiem + vienkāršiem piemēriem.
-
Klases uzpūšanās : pārāk daudz klašu ar neskaidrām robežām. Apvienojiet vai definējiet stingru “citu” ar politiku.
-
Pārāk liela indeksēšana ātruma dēļ : sasteigtas etiķetes klusi saindē apmācības datus. Ievietojiet zelta vērtības; ierobežojiet ātrumu sliktākajās slīpnēs.
-
Rīka fiksācija : eksporta formātu pielāgošana. Savlaicīgi izlemiet par JSONL shēmām un idempotentajiem vienumu ID.
-
Novērtējuma ignorēšana : ja vispirms neapzīmēsiet novērtēšanas kopu, nekad nebūsiet pārliecināts, kas tika uzlabots.
Būsim godīgi, tu ik pa laikam atkāpsies. Tas ir labi. Knifs ir pierakstīt atkāpšanos, lai nākamreiz tā būtu apzināta.
Mini bieži uzdotie jautājumi: ātras un godīgas atbildes 🙋♀️
J: Marķēšana un anotēšana — vai tās atšķiras?
A: Praksē cilvēki tās lieto kā sinonīmus. Anotācija ir marķēšanas vai birku pievienošanas darbība. Marķēšana bieži vien nozīmē uz patiesību balstītu domāšanu ar kvalitātes nodrošināšanu un vadlīnijām. Kartupelis, kartupelis.
J: Vai, pateicoties sintētiskiem datiem vai pašpārraudzībai, varu izlaist marķēšanu?
A: To var samazināt , nevis izlaist. Jums joprojām ir nepieciešami marķēti dati novērtēšanai, drošības pasākumiem, precizēšanai un produktam specifiskai uzvedībai. Vāja uzraudzība var palielināt jūsu efektivitāti, ja manuāla marķēšana vien nepietiek [3].
J: Vai man joprojām ir nepieciešami kvalitātes rādītāji, ja mani recenzenti ir eksperti?
A: Jā. Arī eksperti nepiekrīt. Izmantojiet atbilstības rādītājus (κ/α), lai atrastu neskaidras definīcijas un neskaidras klases, pēc tam precizējiet ontoloģiju vai noteikumus [1].
J: Vai cilvēka mijiedarbība ir tikai mārketings?
A: Nē. Tas ir praktisks modelis, kurā cilvēki vada, labo un novērtē modeļa uzvedību. Tas ir ieteicams uzticamās mākslīgā intelekta riska pārvaldības praksēs [2].
J: Kā noteikt prioritātes tam, ko tālāk apzīmēt?
A: Sāciet ar aktīvu mācīšanos: ņemiet visnedrošākos vai daudzveidīgākos paraugus, lai katra jaunā etiķete sniegtu maksimālu modeļa uzlabojumu [4].
Lauka piezīmes: mazas lietas, kas rada lielu atšķirību ✍️
-
Saglabājiet savā repozitorijā aktīvu taksonomijas
-
Saglabājiet pirms un pēc piemērus ikreiz, kad atjaunināt vadlīnijas.
-
Izveidojiet nelielu, perfektu zelta komplektu un pasargājiet to no piesārņojuma.
-
Rotēt kalibrēšanas sesijas : parādīt 10 vienumus, klusi apzīmēt, salīdzināt, apspriest, atjaunināt noteikumus.
-
Izsekošanas marķētāja analītika — labi informācijas paneļi, nekāda kauna sajūta. Jūs atradīsiet apmācības iespējas, nevis ļaundarus.
-
Pievienojiet modeļu atbalstītus ieteikumus lēni. Ja iepriekšējie apzīmējumi ir nepareizi, tie palēnina cilvēkus. Ja tie bieži ir pareizi, tā ir maģija.
Noslēguma piezīmes: etiķetes ir jūsu produkta atmiņa 🧩💡
Kas ir mākslīgā intelekta datu marķēšana pēc būtības? Tā ir jūsu veids, kā izlemt, kā modelim vajadzētu redzēt pasauli, pieņemot vienu rūpīgu lēmumu vienlaikus. Dariet to labi, un viss tālākajā procesā kļūs vieglāk: labāka precizitāte, mazāk regresiju, skaidrākas debates par drošību un neobjektivitāti, vienmērīgāka piegāde. Dariet to pavirši, un jūs turpināsiet jautāt, kāpēc modelis uzvedas nepareizi, kad atbilde atradīsies jūsu datu kopā ar nepareizu nosaukumu. Ne visam ir nepieciešama milzīga komanda vai izsmalcināta programmatūra, bet visam ir nepieciešama aprūpe.
Too Long I Didn't Read It : ieguldiet skaidrā ontoloģijā, uzrakstiet skaidrus noteikumus, izmēriet atbilstību, apvienojiet manuālās un programmatiskās etiķetes un ļaujiet aktīvajai mācīšanās metodei izvēlēties nākamo labāko vienumu. Pēc tam atkārtojiet. Atkal. Un atkal… un dīvainā kārtā jums tas patiks. 😄
Atsauces
[1] Artstein, R. un Poesio, M. (2008). Kodētāju savstarpējā saskaņa skaitļošanas lingvistikā . Skaitļošanas lingvistika, 34(4), 555.–596. lpp. (Aptver κ/α un to, kā interpretēt saskaņu, tostarp trūkstošos datus.)
PDF
[2] NIST (2023). Mākslīgā intelekta riska pārvaldības sistēma (AI RMF 1.0) . (Cilvēka uzraudzība, dokumentācija un riska kontrole uzticamam mākslīgajam intelektam.)
PDF
[3] Ratner, AJ, De Sa, C., Wu, S., Selsam, D. un Ré, C. (2016). Datu programmēšana: lielu apmācības kopu ātra izveide . NeurIPS. (Vājas uzraudzības un trokšņainu etiķešu slāpēšanas pamatprincipi.)
PDF
[4] Li, D., Vans, Z., Čens, J. u.c. (2024). Aptauja par dziļo aktīvo mācīšanos: jaunākie sasniegumi un jaunas robežas . (Pierādījumi un modeļi efektīvai aktīvai mācīšanai, izmantojot etiķetes.)
PDF
[5] NIST (2010). SP 800-122: Ceļvedis personiski identificējamas informācijas (PII) konfidencialitātes aizsardzībai . (Kas tiek uzskatīts par PII un kā to aizsargāt jūsu datu plūsmā.)
PDF