Vai mākslīgais intelekts ir uzticams? [Video un viktorīna]

Īsa atbilde: mākslīgais intelekts kā īpašība nav uzticams: tas ir atkarīgs no uzdevuma, atgūšanas cikla un cilvēka, kas joprojām ir iesaistīts. Darbības laiks ir tas, vai galapunkts atbildēja; patiesums ir tas, vai atbilde bija tā. Izmantojiet to, ja kļūda ir lēta vai noķerama; samaziniet ātrumu, ja kļūda ir dārga.

Galvenie secinājumi:

Atbildība: norādiet, kas veic pārskatīšanu, kas to var apturēt un kam ir jāuzņemas atbildība.

Caurspīdīgums: pārbaudiet iegūto fragmentu, pretējā gadījumā jūs joprojām esat miglā.

Auditējamība: Reģistrēt uzvednes, izgūtos fragmentus un nosūtīšanas, lai varētu izsekot kļūdām.

Izturība pret ļaunprātīgu izmantošanu: Neizdevušies darījumi naudas jautājumos ir slēgti; nekad neizdomājiet skaitļus, logus vai politiku.

Ilustratīvi rezultāti: 20 jautājumu ilustratīvo testu uztveriet kā karti, nevis 95% pierādījumu.

Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:

🔗 Kā izmantot mākslīgo intelektu ikdienas dzīvē
Atklājiet praktiskus veidus, kā mākslīgais intelekts var vienkāršot ikdienas uzdevumus un rutīnu.

🔗 Kā izmantot mākslīgo intelektu darbā
Apgūstiet praktiskus veidus, kā uzlabot produktivitāti un efektivitāti ar mākslīgā intelekta palīdzību.

🔗 Vai mākslīgais intelekts spēj domāt patstāvīgi?
Izpētiet, vai mākslīgais intelekts patiešām spēj domāt patstāvīgi un spriest.

🔗 Kādi ir mākslīgā intelekta veidi?
Izprotiet galvenos mākslīgā intelekta veidus, iespējas un galvenās atšķirības.

Ko vispār nozīmē vārds "uzticams", ja mašīna ir statistisks papagailis

Uzticamība ikdienas runā nozīmē, ka var uz kaut ko paļauties.

Ar runājošu automatizāciju zem viena vārda slēpjas vesels klāsts dažādu īpašību. Faktualitāte. Konsekvence. Kalibrēšana — vai modeļa ticamība atbilst tā pareizības iespējamībai, vai arī tas vienkārši... izklausās droši. Drošība. Darbības laiks. Ātra reaģētspēja. Uzvedība perifēros gadījumos. Uzvedība pēc izplatīšanas maiņas, kad tiešraides pasaule nav apmācību pasaule. Neviena no šīm lietām neizdodas kopā. Tā ir daļa, ko cilvēki izlaiž.

Čatbots var būt “darbībā” visu nedēļu un otrdienas pēcpusdienā joprojām kļūdīties. Kodēšanas līdzstrādnieks var labi darboties ar standarta algoritmu un pēc tam halucinēt API, kas izskatās tieši tāpat kā īstā. Cilvēki izmanto metaforu “jaunākais kolēģis”. Tā ir nepilnīga metafora – jaunākie samulst –, bet tā ir tuvāka nekā “orākuls”.

Tiešraides tests ir uzticams attiecībā uz to, kas paredzēts, kamun ar kuru ciklu. Pretējā gadījumā jūs vērtējat blenderi pēc tā, vai tas atbilst nodokļu prasībām.

Darbības laiks nav patiesums — divi dažādi "uzticamības" veidi

Ops cilvēki un patiesības cilvēki lieto vienu un to pašu vārdu un runā viens otram garām.

Darbības laiks ir "vai galapunkts atbildēja". Patiesīgums ir "vai atbilde bija pareiza". Pārvaldība rūpējas par abiem, un modeļa risks atrodas neglītajā robā. Jums var būt pakalpojums, kas nekad nemirkšķina, un tomēr klienta pieteikuma veidlapā tiek ievietota tekoša melošana. Uzticams SRE nozīmē. Nav uzticams "lūdzu, neizgudrojiet atmaksas politiku" nozīmē.

Pierakstīts jau šķiet acīmredzams. Tas vairs nav acīmredzams pulksten 16:00, kad atbilde ir ātra un rinda ir milzīga. Ātrums šķiet kā kompetence. Lēns agrāk nozīmēja, ka kāds domā. Tagad ātrums ir norāde, ka neviens nedomā.

Drošība ir vēl viena ass. Modelis, kas atsakās no nejaukas jailbreak, ir "uzticams" drošības novērtējuma ziņā un joprojām varētu sabojāt jūsu piezīmju kopsavilkumu.

Teicami un nepareizi runāt ir sliktāk nekā neveikli un atklāti runāt

Tā ir pašapziņas problēma, un tā ir tā, kas kož.

Precizitāte un plūdums tika atdalīti, un plūdums saglabāja dominējošo stāvokli. LLM grāds piešķirs jums ritmu, izvairīšanos pareizajās vietās, varbūt viltotu, bet skaistu citāta formu. Jūsu smadzenes lasa "šis cilvēks zina". Izņemot to, ka tas nav cilvēks, un kalibrēšana bieži vien ir briesmīga - augsta pārliecība, viduvēja patiesība, pasniegta kā galvenais runas runu.

Neveikla nepareiza atbilde rada aizdomas. Teicama nepareiza atbilde liek pārtraukt pārbaudīt. Tā nav maza atšķirība; tas ir viss stāsts vienā nedaudz nejaukā teikumā.

Pastāv arī aizspriedumi, ne vienmēr kā apvainojums, drīzāk kā noklusējuma iestatījums attiecībā uz to, kas atrodas telpā un kura angļu valodas īpašība tiek uzskatīta par neitrālu. Cilvēki tiek apmānīti, jo valoda ir mūsu vecākā uzticības saskarne. Ja tā runā kā īss apraksts, mēs pret to izturamies kā pret īsu aprakstu. Es visu laiku vēlos būt ciniskāks šajā jautājumā. Tad es izlasu skaidru kopsavilkumu, un man nokarājas pleci. Ieejot sapulcē, kopsavilkums izskatās pabeigts. Šis teikums ir pārāk apgrūtinošs, un tomēr: tā kļūda nonāk pie vainas.

Uzticamība atkarībā no situācijas, nevis pēc zīmola

Zīmoli ir traucēklis. Salīdzināšana, kas sevi attaisno, ir darbs. Strīdi savā starpā strīdēsies. Tas ir labi.

Jebkurā gadījumā. Ja jūsu iecienītākais rīks ir veikls melnrakstos un jūs pieķerat sevi pusnaktī lūdzam tam juridisko palīdzību, tas nav uzlabojums. Tā ir karte, kurā teikts, ka jūs no tā aizgājāt.

Halucinācijas, dreifēšana un klusā nepareizības forma

Halucinācijas nonāk virsrakstos, jo tās ir pikantas: grāmata, kas neeksistē, funkcija, kas nekad netika piegādāta, politikas klauzula ar numuru, kas šķiet oficiāls.

"Dreifs" ir mazāk kinematogrāfisks. Pasaule kustas. Modeļa paliekas paliek. Jūs uzdodat jautājumu, kam nepieciešams svaigs konteksts, un jūs saņemat labi strukturētu atbildi no iepriekšējiem laikapstākļiem. Es gandrīz uzrakstīju "no cita laikmeta", kas ir pārspīlējums, ko šī tēma izraisa. Tā nav cita laikmeta. Tā vienkārši nav tagadne.

Klusā nepareizība ir tā, kas mani uztrauc vairāk. Kopsavilkums, kas atmet izņēmumu. Pārfrāze, kas "varbūt" pārvērš par "obligātu". Faktualitāte var būt "tehniski laba", kamēr nozīme ir pasliktinājusies.

Ātra iejūtība situāciju padara vēl sliktāku. Nomainiet iesaiņojumu, un "fakti" mirdzēs. Jautājiet kā skeptiķis, iegūstiet dzīvžogus. Jautājiet kā steigā esošs priekšnieks, ātri pārspīlējiet. Ja jūsu vērtējumā tiek izmantots tikai viens kostīms, jūsu vērtējums ir nedaudz melots. Atvainojiet.

Jailbreaki ir uz spriedzes robežas, un es nevēlos filmu par laupīšanu. Ja sistēmu var pierunāt atteikties no savām manierēm, uzticamība nav tikai patiesība; tā ir atkarīga no tā, vai margas ir cilpa vai plakāts.

Apmācības atlikumi, novecojušas zināšanas un kāpēc iezemēšanās nav burvju nūjiņa

Ģeneratīvie modeļi tiek apmācīti uz kaudzītes un pēc tam norādīti uz jūsu otrdienu. Izguve ir pieauguša cilvēka mēģinājums piestiprināt tagadni pie šīs kaudzītes. Iezemēšana nozīmē "atbildēt no šejienes, nevis no miglas". Kad tas neizdodas, tas neizdodas pieklājīgi.

Klasiska kļūme: izgūšanas programma atgūst gandrīz nejauši atrastu dokumentu. Ģenerators to pārskata ar pilnīgu mieru. Jūs redzat avota formas objektu, un jūsu pārbaudes instinkts izslēdzas. Es daru tā. Jūs droši vien darāt tā. Citēšanas ideja ir pareiza; ieviešana ir tikpat laba, cik labs ir trāpījums.

Otra noplūdes vieta ir novecojušas zināšanas. Dažiem uzdevumiem ir nepieciešams tiešraides stāvoklis — cenas, krājumi, politikas pašreizējā formulējuma izpratne. Citiem ir nepieciešama stabila meistarība, piemēram, kā strukturēt memorandu. Sajauciet šos divus elementus, un jūs iegūsiet ļoti drošu atbildi par pasauli, kas jau ir mainījusies. Sadalījuma nobīde ir pieaugušo nosaukums: tiešraides sadalījums nav apmācības sadalījums, un robežgadījumi atrodas šajā spraugā.

Vēl viena lieta, kas teikta ar nevietā ievietotu defisi, jo tā izskatās manas piezīmes: zemējums ir grīda, nevis oreols. Ja nevarat pārbaudīt atgūto fragmentu, jūs joprojām esat miglā, tikai ar labāku apgaismojumu.

Novērtēšanas teātris: kāpēc demonstrācija ir briesmīgs pārbaudījums

Demonstrācijas ir zibenīgas. Salīdzinošās novērtēšanas ir nedaudz atklātākas, un tas joprojām nav jūsu uzdevums.

Tīra uzvedne un uzdevums, kuram modelis ir redzējis tūkstoš brālēnu — protams, tas izskatās asprātīgi. Novērtējums, kas mēra tikai to, mēra skatuves lugu. Tiešraides darbplūsmās ir sapinušies materiāli, trūkstoši faili un lietotājs, kurš pieņems pirmo atbildi, kas mazina viņa nemieru.

Salīdzinošie rādītāji ir svarīgi. Tie vienkārši nepārvietojas tik labi, kā apgalvo kāršu komplekti. Līderu saraksta rezultāts nav jūsu biļešu kalibrēšana. Modeļa risks uzņēmumā ir "kas notiek, ja kaut kas ir nepareizi lielā apjomā", nevis "vai tas izturēja viktorīnas komplektu". Nepieciešamie testi ir sausi: palieciet atgūtajā fragmentā; atzīmējiet nenoteiktību, nevis blefojiet; saglabājiet konsekventu attieksmi, pārfrāzējot; neveiksmīgi noslēdziet (atsakieties, jautājiet, atlikiet), nevis neveiksmīgi atveriet (izgudrojiet).

Esmu vērojis, kā cilvēki uztver vienu iespaidīgu ēdiena pabeigšanu kā pierādījumu. Tas ir līdzīgi kā izlemt, ka restorāns ir “uzticams”, jo uzkoda bija skaista. Varbūt tā arī ir. Varbūt virtuvē bija labas desmit minūtes.

Neliela pretruna rodas: es joprojām izmantoju demo versijas, lai iegūtu priekšstatu. Es vienkārši nealgoju šo sajūtu.

Vai mākslīgais intelekts ir uzticams? Tikai tad, ja kāds joprojām ir iesaistīts

Cilvēka iesaistes cilpa ir vienīgais dizains, kas atbilst atteices režīmiem.

Ja neviens nebūs atbildīgs, sistēma tiks izmantota tā, it kā tā būtu. Pārvaldība ir nepievilcīgs apzīmējums tam, "kas pārskata, kas var apturēt, kas tiek reģistrēts, kas notiek pēc kļūdas". Aģenti padara šo procesu asāku, jo viņi veic darbības, nevis tikai rindkopas. Melnraksts, ko neesat nosūtījis, ir lēts. Rīka izsaukums, ko neesat domājis, nav lēts.

Nosauciet, kurš ir uz vainas. Ja atbilde ir "modele", jums nav atbildes. Modeles pēc incidenta neiet uz sapulci. To dara cilvēks vai putekļsūcējs un pēc tam advokāts.

Izvēlieties pārbaudes, kas atbilst sprādziena rādiusam. Pareizrakstības pārbaudes līmeņa atsauksme sociālā tīkla ierakstam. Avota pārbaude jebkam, kas apgalvo faktus. Profesionālis jebkam, kas saistīts ar medicīnu, jurisprudenci, kredītu, drošībai kritiski svarīgām operācijām. Šajos gadījumos cilvēks nav "apļa" sastāvdaļa. Cilvēks ir aplis. Modelis ir nepilnīgs apgalvojums. Tā nav personības skepse. Tā ir gaumes jautājums.

Šobrīd modē ir paslēpt čeku aiz spīdīgas nosūtīšanas pogas. Mūsdienās tā nejauši automatizē baumas. Pēdējā laikā esmu kļuvis sausāks par to, un darbs ir uzlabojies.

Kā pajautāt, lai pamanītu garām

Jūs varat izpētīt šīs sistēmas, nekļūstot par profesionālu saules gaismas apšaubītāju.

• Nenoteiktības paušana ir apzināta. "Kas to padarītu nepareizu?" ir labāka par "padarīt to pārliecinātu".

• Atdaliet izguvi no paaudzes, kad vien iespējams. Vispirms apskatiet fragmentus. Pēc tam palūdziet aprakstu.

• Nomaini kostīmu. Pārfrāzē. Palūdz tam apgalvot pretējo. Ātra iejūtība ir kā lukturītis, ja to lieto šādā veidā.

• Piespiedu ierobežojumi: "tikai no ielīmētā teksta", "ja trūkst, teikt "trūkst". Modeļi pārsteidzoši labi atbilst šim nosacījumam... līdz brīdim, kad vairs nepakļaujas. Jebkurā gadījumā pārbaudiet.

• Dodiet priekšroku uzdevumiem ar verificētāju. Kompilatori, linteri, shēmu pārbaudes, otra acs. Uzticamība mīl vērtētāju.

• Pievērsiet uzmanību īpašam aprakstam: īpaša specifika. Precīzi izskatoša figūra, nosaukts gadījums, kārtīgi numurēta klauzula – lūk, kur halucinācijas mēdz ietērpties.

• Saglabājiet cilvēka soli redzamu. Ja lietotāja interfeiss paslēpj pārbaudi, cilvēki to izlaiž. Tās ir mēbeles, nevis morāla kļūme.

Nekas no tā nepadara modeli par "patiesu". Tas padara ciklu mazāk lētticīgu. Kas, manuprāt, ir reizinājums.

Kur karte tevi atstāj

Tātad. Jā/nē jautājums darbojas tikai kā ieeja.

Vai mākslīgais intelekts ir uzticams? Ne jau kā īpašība. Kā uzdevuma, datu kopas, izguves cikla, novērtējuma, kas nav demonstrācija, un cilvēka, kuram joprojām ir jādomā nopietni, īpašība. Runāšana turpinās mūs apmānīt, jo mēs esam valodas dzīvnieki, un šīs sistēmas ir valodas mašīnas. Darbības laiks turpinās tikt jaukts ar patiesību, jo abi šķitīs, ka "tas darbojās". Otrie piloti turpinās pelnīt savu iztiku sapinušajā vidū - melnraksti, kopsavilkumi, ko var pāršķirstīt, kods, ko var apkopot - un nedroši, ja spriedumus uzticēsim rindkopai, kurai tas vienalga.

Izmantojiet tos tur, kur nepareiza rīcība ir lēta vai noķerama. Samaziniet ātrumu tur, kur nepareiza rīcība ir dārga. Tā ir tiešā atbilde, un tā ir vērtīgāka par saukli.

Ja ņemat vērā vienu lietu: pārtrauciet jautāt modelim, vai tas ir pārliecināts. Vērojiet, kas notiek, kad pajautājat, kā tas varētu būt nepareizs. Pēc tam pārbaudiet.

Reālās pasaules piemērs: dalības politikas mākslīgā intelekta asistenta izveide

Scenārijs

Prija vada zināšanu vākšanas rīku organizācijai “Harbour Membership” — 70 cilvēku Apvienotās Karalistes tirdzniecības organizācijai, kas apvieno neatkarīgas sporta zāles. Trīs cilvēki atbild uz biedru jautājumiem. Patiesības avots ir 180 lappušu bieza rokasgrāmata, kas tiek atjaunināta katru ceturksni, kā arī veci PDF faili koplietojamā diskā, kurus nevienam nav sirds dzēst.

Vadība jau ir iegādājusies palīdzības dienesta līdzpilota versiju. Demonstrācija bija diezgan laba. Darbības laiks ir bijis labs. Otrajā nedēļā tekoši rakstīts melnraksts norāda dalībniekam, ka viņš var iesaldēt 14 dienas un saņemt pilnu atmaksu "kā standarta". Tā nav politika. Aģents to pamanīja, jo viņš joprojām atver rokasgrāmatu, kad ir iesaistīta nauda. Vadības jautājums, kas uzdots tā, it kā tas būtu jā vai nē, ir: vai mākslīgais intelekts ir uzticams?

Prija noraida spriedumu. Viņa to uztver kā karti. Uzdevums nav "dot biedriem orākulu". Tas ir "izveidot atbildi no pašreizējās rokasgrāmatas, parādīt fragmentu un slēgt kļūdu, ja fragments trūkst". Ja otrais pilots to nevar izdarīt, tā ir rasēšanas rotaļlieta, nevis politikas galds.

Kas asistentam ir nepieciešams

• 2026. gada aprīļa rokasgrāmata kā vienīgais atļautais korpuss ar neskartiem sadaļu numuriem

• Vecais 2023. gada PDF fails tika atstāts diskdzinī ar nolūku, lai viņi varētu redzēt, vai atgūšanas laikā var atrast gandrīz trāpīto

• Rakstisks noteikums: patērētāju rīkos nedrīkst izmantot klientu personas datus; nedrīkst sūtīt bez cilvēka klātbūtnes; nedrīkst izdomāt skaitļus, logus vai "standarta" klauzulas

• Atļauja reģistrēt uzvednes, izgūtos fragmentus un galīgo nosūtīšanu

• Nosaukts īpašnieks (Prija), kurš iegūs testa komplekta rezultātus un apturēs otro pilotu, ja tas neizdosies, noslēdza spēli sliktāk nekā monētas mešana naudas jautājumos

• Ja rīks atbalsta izgūšanu, izgūtajam fragmentam jābūt redzamam blakus melnrakstam. Ja tas tā nav, viņi ielīmēs sadaļu ar roku. Zemējums bez pārbaudāmas ejas joprojām ir migla.

Instrukcijas piemērs

Prija to formulē vienkāršā valodā, nevis skatuves lugas uzvednē:

Atbildiet tikai no 2026. gada aprīļa rokasgrāmatas fragmentiem, kas jums tika doti. Norādiet sadaļas numuru. Ja atbildes nav šajās fragmentos, sakiet "nav pašreizējā rokasgrāmatā" un pārtrauciet. Neizgudrojiet iesaldēšanas logus, atmaksas noteikumus vai maksas. Nejauniniet versiju "pēc sporta zāles ieskatiem" uz "kā standarta". Ja divas fragmenti konfliktē, parādiet abas un norādiet, kura ir aktuāla. Jūs rakstāt cilvēkam, kurš atvērs pirmkodu, pirms kaut kas tiks nodots biedram.

Tad viņa patur sev otru instrukciju, jo raksta būtība ir cikls, nevis modelis:

Pirms nosūtīšanas atveriet citēto sadaļu. Pajautājiet: "Kas to padarītu nepareizu?". Ja melnrakstā ir skaitlis, kura nav tekstā, noraidiet to. Ja es jautāju kā steidzīgs priekšnieks, pajautājiet vēlreiz kā skeptiķis un salīdziniet.

Labs melnraksts izskatās šādi: "Nav iekļauts pašreizējā rokasgrāmatā (2026. gada aprīlis, 4.2. sadaļa). Iesaldēšana notiek pēc sporta zāles ieskatiem. Atmaksa nav automātiska. Eskalēt." Slikts melnraksts izskatās šādi: "Dalībnieki var iesaldēt abonementu uz 14 dienām un saņemt pilnu atmaksu kā standarta variants. Apstiprināts rokasgrāmatā." Tas pats tonis. Tikai viens no tiem ir politika.

Kā to pārbaudīt

Prija uzraksta 20 jautājumus, pirms aplūko jebkādu otrā pilota rezultātu. Šī secība ir svarīga. Demonstrācija ir zibens. Šis ir sausais tests.

Komplekts nav viktorīna. Tas ir tiešraides galds:

• Astoņi jautājumi, kuru atbildes atrodas vienā pašreizējā sadaļā (vieglie jautājumi)

• Četri gandrīz notikuši negadījumi, kuru formulējums 2023. gada PDF dokumentā ir precīzāks nekā aprīļa tekstā

• Trīs jautājumi, kas "nav minēti rokasgrāmatā" (strīdi par norēķiniem, medicīniska rakstura jautājums "vai šī apmācība ir droša", juridiska rakstura līguma korekcija)

• Trīs naudas jautājumi (iesaldēšana, atmaksa, iestāšanās maksa)

• Divi parastie biedru jautājumi (darba laiks, treneru apdrošināšana)

Diviem no šiem divdesmit jautājumiem tika uzdots jautājums atkārtoti otrā kostīmā — vienreiz kā steidzīgam priekšniekam un vienreiz kā skeptiķim —, lai pārbaudītu atbildes reakcijas jutīgumu. Šie atkārtotie jautājumi tika reģistrēti, nevis iekļauti 20 jautājumu vērtējumā.

Rubrika, ko vērtēja Prija ar atvērtu rokasgrāmatu: sekmīgai izpildei ir nepieciešams pareizais aktuālais noteikums, reāls sadaļas numurs un nekāda papildu izdomāta klauzula. Klusa kļūme ir tehniski labs teikums, kas atmet izņēmumu vai pārvērta varbūt par obligātu. Atklāta kļūme ir izdomāts skaitlis vai gandrīz neveiksmīgs PDF fails, kas tiek uzskatīts par aktuālu. Darbības laiks tiek skaitīts atsevišķi, jo "tas atbildēja" nav "tā bija".

Piekrišana turpmākai virzībai: naudas jautājumos labāk slēgt neizdevušos darījumu, nevis atvērt neizdevušos darījumu. Ja otrais pilots izdomā atmaksas logu, tas neveido tiešraides pieprasījumus. Ja neviens neatver pirmkodu, tas arī neveido tiešraides pieprasījumus.

Rezultāts

Ilustratīvs rezultāts no izdomāta 20 jautājumu testa, nevis publicēts ostas biedru skaita rādītājs.

Pieņēmumi: viens palīdzības dienesta koppilots; 2026. gada aprīļa rokasgrāmata plus atlikušais 2023. gada PDF fails; Prija ieguva punktus atbilstoši iepriekš minētajai rubrikai; laiks tika mērīts ar tālruņa hronometru no jautājuma, kas ielīmēts līdz jautājumam "Es to nosūtītu"; pārskatīšanas laiks ir iekļauts cikliskajā nosacījumā un izslēgts nepārbaudītajā nosacījumā, lai salīdzinājums būtu vienmērīgs.

Nepārbaudīts otrais pilots, demonstrācijas stila uzvedne: uz 20 no 20 jautājumiem tika sniegtas tekošas atbildes (darbības laiks izskatījās ideāls). 11 no 20 atbilda kritērijiem. Pieci bija klusas kļūmes. Četri bija atklāti kļūmes, tostarp 14 dienu iesaldēšana. Divi no četriem atklātiem kļūmēm atsaucās uz avota formas fragmentu no 2023. gada PDF faila. Vidējais laiks līdz nosūtāma izskata melnraksta izveidei bija 1 minūte.

Tie paši 20 jautājumi, ierobežotas instrukcijas, redzama izgūtā daļa: 15 no 20 aprīļa tekstā bija pilnībā pareizi. Trijos pareizi bija norādīts "nav iekļauts pašreizējā rokasgrāmatā" (medicīniskajai un juridiskajai informācijai blakus esošie vienumi, kā arī viens strīds par norēķiniem), tāpēc 18 no 20 bija pieņemami. Divi joprojām nebija pieņemami: viens izstrādāja 2023. gada gandrīz notikušā negadījuma PDF failu, bet viens izdomāja iestāšanās maksas skaitli, kas nebija tekstā. Vidējais melnraksta sagatavošanas laiks joprojām bija aptuveni 1 minūte.

Tie paši 20, plus Prija atver citēto sadaļu pirms simulētas nosūtīšanas: 19 no 20 būtu bijuši pieņemami. Viņa pamanīja gandrīz neprecīzo PDF failu. Atlikušais neprecīzs rezultāts bija recenzents, kurš pāršķirstīja plūstošu rindkopu un nepamanīja izdomāto pievienošanās maksas skaitli. Vidējais laiks, ieskaitot recenziju, bija 3 minūtes.

Vecs process, tikai rokasgrāmatas meklēšana, bez otrā pilota: 20 no 20 pieņemami. Vidēji 9 minūtes.

Šajā izlasē cilpveida otrais pilots bija par 6 minūtēm ātrāks nekā rokasgrāmatas meklēšana (9 mīnus 3) jeb 120 minūtes uz 20 jautājumiem, ar 19 no 20 pieņemamiem, nevis 20 no 20. Nepārbaudītais otrais pilots bija par 8 minūtēm ātrāks (9 mīnus 1) un kļūdījās, klusi vai skaļi, 9 no 20. Tas nav 67% laika ietaupījums, ko jūs ieliktu stūres iekārtai. Tā ir 9 kļūdu noplūde, ko jūs būtu automatizējis.

Abos atkārtotajos jautājumos steidzīgā priekšnieka versijas bija pārspīlētas. Skeptiķu versijas izvairījās. Tas pats modelis, tā pati rokasgrāmata, atšķirīgs kostīms. Prija to reģistrēja kā atklājumu, nevis kā personības iezīmi.

Šie skaitļi ir aptuvens aprēķins, kas balstīts uz norādīto testu, nelielu komplektu, pieprasījumiem, kas bija vieglāki nekā dusmīgam dalībniekam, un vienu recenzentu, kurš jau zināja grāmatu. Tie nepierāda, ka otrais pilots ir "95% uzticams" vai ka Harbour vajadzētu samazināt personāla skaitu. Tie parāda, ka darbības laiks nebija jautājums, bet gan pārbaude.

Kas var noiet greizi

• Vadība norāda uz 1 minūtes drafta laiku un izlaiž 9 netrāpījumus. Ātrums joprojām šķiet kompetents pulksten 16:00.

• 2023. gada PDF fails paliek indeksā. Izguves funkcija to turpina ielādēt. "Grounding" izskatās pieauguša un joprojām ir gandrīz neveiksmīgs mēģinājums.

• Lietotāja saskarne paslēpj izgūto fragmentu aiz spīdīgas nosūtīšanas pogas. Cilvēki pārtrauc atvērt rokasgrāmatu, un tieši tā iesaldētā atbilde nonāk pie dalībnieka.

• Prija vērtē tikai astoņus vienkāršos jautājumus, jo tie labāk izskatās slaidā. Vērtēšanas teātris, tikai ar izklājlapu.

• Atbilde "vai šī apmācība ir droša?" medicīniskai informācijai var izskatīties pēc īsa norādījuma. Kartē bija teikts "gandrīz nekad". Tonis teica, lai ķertos pie darba.

• Žurnāli ir izslēgti, jo "tas šķita kā papildu". Pēc neveiksmīga mēģinājuma neviens nevar redzēt, kurš fragments tika atgūts.

• Viņi jautā modelim, vai tas ir pārliecināts. Tā ir. Tā nekad nebija pārbaude.

Praktiska līdzņemšana

Uzticamība nav tikai Harbour iegādātā kopilota īpašība. Tā ir 20 jautājumu, aktuālas rokasgrāmatas, redzamas teksta daļas un cilvēka, kurš joprojām atver pirmkodu, īpašība, ja runa ir par naudu. Plūstoša valoda izturēs darbības laika pārbaudi. Cikls ir vienīgais, kas iztur politikas pārbaudi.

Bieži uzdotie jautājumi

Ko vispār nozīmē uzticamība ģeneratīvajam mākslīgajam intelektam?

Ikdienas uzticamība nozīmē, ka varat paļauties uz kaut ko. Ar automatizāciju, kas runā, vesels īpašību kopums slēpjas zem viena vārda: faktualitāte, konsekvence, kalibrēšana, drošība, darbības laiks, tūlītēja jutība, robežgadījumi un uzvedība pēc izplatīšanas maiņas. Neviena no šīm īpašībām nedarbojas vienlaicīgi. Tiešraides tests ir uzticams attiecībā uz ko, kam un ar kuru ciklu. Pretējā gadījumā jūs vērtējat blenderi pēc tā, vai tas var veikt nodokļu aprēķinus.

Vai mākslīgais intelekts ir uzticams?

Ne jau kā īpašība. LLM var būt nevainojams vienā darbā un klusi izgāzties no rāmjiem nākamajā, dažreiz vienlaikus, dažreiz tāpēc, ka esi pārvietojis komatu. Uzticamība ir uzdevuma, datu kopas, izguves cikla, novērtējuma, kas nav demonstrācija, un cilvēka, kuram joprojām ir jādomā nopietni, īpašība. Izmantojiet to tur, kur kļūme ir lēta vai uztverama. Samaziniet ātrumu tur, kur kļūme ir dārga.

Vai mākslīgā intelekta darbības laiks ir tas pats, kas patiesums?

Nē. Darbības laiks ir atkarīgs no tā, vai galapunkts atbildēja. Patiesums ir atkarīgs no tā, vai atbilde bija “tā”. Jums var būt pakalpojums, kas nekad nemirkšķina, un tomēr klienta pieprasījuma veidnē ievietot tekošus melus. Ātrums šķiet kompetence, ja rinda ir milzīga. Drošība ir vēl viena ass: modelis, kas atsakās no jailbreak, joprojām varētu sabojāt jūsu pašu piezīmju kopsavilkumu.

Kāpēc tekoši mākslīgais intelekts šķiet uzticams pat tad, ja tas kļūdās?

Precizitāte un plūdums tika atdalīti, un plūdums saglabāja dominējošo stāvokli. LLM grāds piešķirs jums ritmu, izvairīšanos, varbūt viltotu, bet skaistu citāta formu, un jūsu smadzenes lasīs: "šis cilvēks zina". Kalibrēšana bieži vien ir briesmīga: augsta pārliecība, viduvēja patiesība, pasniegta kā galvenais ziņojums. Neveikla nepareiza atbilde rada aizdomas. Plūstoša nepareiza atbilde liek jums pārtraukt pārbaudīt. Ja tā ir uzrakstīta kā īss apraksts, mēs pret to izturamies kā pret īsu aprakstu, un tā kļūda nonāk labojumu kavā.

Vai mākslīgais intelekts ir uzticams medicīniskajā, juridiskajā vai klientu atbalsta darbā?

Tas ir atkarīgs no darba, nevis no zīmola. Medicīniskas un juridiskas konsultācijas gandrīz nekad nav pietiekami labas kā produkts: modelis ir nepabeigts, un cilvēks ir profesionālis. Klientu atbalsta dienests var sagatavot melnrakstu stingras politikas ietvaros, taču cilvēkam ir jāuzņemas atbildība par naudas nosūtīšanu un uzticēšanos, jo izdomāta politika un pieklājīga nepareiza atteikšanās parasti ir neveiksme. Melnraksti un kopsavilkumi ir pirmreizējs teksts, ko jūs jau zināt. Pārbaudiet vārdus, skaitļus un rindu, kas varētu sāpēt.

Kāpēc mākslīgais intelekts halucinē, dreifē vai klusi kļūdās?

Halucinācija ir pikanta kļūdīšanās: grāmata, kas neeksistē, funkcija, kas nekad netika piegādāta, politikas klauzula ar numuru, kas šķiet oficiāls. Dreifs ir mazāk kinematogrāfisks: pasaule kustas, modeļa pārpalikumi paliek, un jūs saņemat labi strukturētu atbildi no iepriekšējiem laikapstākļiem. Klusa nepareizība ir kopsavilkums, kas atmet izņēmumu. Vai pārfrāzējums, kas varbūt pārvērš par obligātu. Faktualitāte var izskatīties tehniski labi, kamēr nozīme ir izslīdējusi. Ātra jūtība liek faktiem mirdzēt, mainot iesaiņojumu.

Vai iezemēšana vai atgūšana padara mākslīgo intelektu uzticamu?

Iezemēšanās nozīmē atbildi no šejienes, nevis no miglas. Izgūšana piespiež tagadni pie apmācītas kaudzītes. Kad tā neizdodas, tā neizdodas pieklājīgi: gandrīz neveiksmīgs dokuments, uzrakstīts apraksts, un jūsu pārbaudes instinkts izslēdzas. Iezemēšanās ir grīda, nevis oreols. Ja jūs nevarat pārbaudīt atgūto fragmentu, jūs joprojām atrodaties miglā, tikai ar labāku apgaismojumu. Apvienojiet tiešraides stāvokļa uzdevumus, piemēram, cenas vai politikas formulējumus, ar stabilu amatu, un jūs iegūsiet ļoti drošu atbildi par pasauli, kas jau ir mainījusies.

Kāpēc demonstrācija ir slikts mākslīgā intelekta uzticamības tests?

Tīra uzvedne un uzdevums, kuram modelis ir redzējis tūkstoš brālēnu, izskatīsies lieliski. Tiešraides darbplūsmās ir sapinusies ielīmēšana, trūkstoši faili un lietotājs, kurš pieņems pirmo atbildi, kas mazina viņu trauksmi. Līderu saraksta rezultāts nav jūsu pieteikumu kalibrēšana. Modeļa risks ir tas, kas notiek, ja tas ir nepareizi apjomā, nevis tas, vai tas izturēja viktorīnas komplektu. Nepieciešamie testi ir sausi: palieciet izgūtajā tekstā, atzīmējiet nenoteiktību, nevis blefojiet, saglabājiet konsekventu frāzi, un neizpildiet kļūdas, nevis izdomājiet.

Vai mākslīgais intelekts ir uzticams, ja neviens nav atbildīgs?

Nē. Ja neviens nav atbildīgs, sistēma tiks izmantota tā, it kā tā būtu. Cilvēks iesaistīts atteices režīmos ir vienīgais dizains, kas atbilst kļūmju režīmiem: kas veic pārskatīšanu, kas to var apturēt, kas tiek reģistrēts, kas notiek pēc kļūmes. Ja atbilde ir "modelis", jums nav atbildes. Modeļi neiet uz sanāksmi pēc incidenta. Medicīnā, jurisprudencē, kredītos vai drošībai kritiski svarīgās operācijās cilvēks ir cilpa, bet modelis ir nepilnīgs.

Kā es varu pamudināt mākslīgo intelektu, lai es pamanītu kļūdas?

Apzināti pajautājiet par nenoteiktību: "Kas to padarītu nepareizu?" ir labāk nekā "padariet to pārliecinošu". Atdaliet atgūšanu no ģenerēšanas, kad vien iespējams. Vispirms apskatiet fragmentus un pēc tam palūdziet aprakstu. Mainiet kostīmu: pārfrāzējiet vai palūdziet argumentēt pretējo. Piespiediet ierobežojumus, piemēram, "tikai no teksta, ko ielīmēju" vai "ja trūkst, sakiet "trūkst", un joprojām pārbaudiet. Dodiet priekšroku uzdevumiem ar verifikatoru un pievērsiet uzmanību papildu specifikai, jo tieši tur halucinācijas mēdz izcelties.

Atsauces

1. NIST — nvlpubs.nist.gov

2. NIST — airc.nist.gov

3. NIST — airc.nist.gov

4. ICO — ico.org.uk

5. NCSC — www.ncsc.gov.uk

6. NCSC — www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Atrodiet jaunāko mākslīgo intelektu oficiālajā mākslīgā intelekta palīgu veikalā

Par mums