Vai mākslīgā intelekta detektori ir uzticami?

Vai mākslīgā intelekta detektori ir uzticami?

Īsa atbilde: mākslīgā intelekta teksta detektori var kalpot kā ātrs signāls “rūpīgāk ieskatieties”, īpaši, ja jums ir garāki paraugi, taču tie nav uzticams autorības pierādījums. Īsos, stipri rediģētos, formālos vai ne-dzimtās valodas rakstos kļūdaini pozitīvi rezultāti un kļūdas kļūst bieži sastopamas, tāpēc lēmumiem nekad nevajadzētu balstīties uz vienu vērtējumu.

Tie var būt noderīgi kā mājiens — grūdiens, signāls “varbūt paskaties rūpīgāk”. Taču tie nav uzticami kā pierādījums. Pat ne tuvu. Un pat uzņēmumi, kas ražo detektorus, mēdz to pateikt vienā vai otrā veidā (dažreiz skaļi, dažreiz sīkā drukā). Piemēram, OpenAI ir teicis, ka nav iespējams droši noteikt visu mākslīgā intelekta rakstīto tekstu, un pat publicējis novērtēšanas skaitļus, kas parāda nozīmīgus kļūdu un viltus pozitīvu rezultātu rādītājus. [1]

Galvenie secinājumi:

Uzticamība: Detektora rezultātus uztveriet kā norādes, nevis pierādījumus, īpaši gadījumos, kad ir liela nozīme.

Kļūdaini pozitīvi rezultāti: formāls, šablonisks, īss vai ļoti noslīpēts cilvēka rakstīts teksts bieži tiek nepareizi apzīmēts.

Viltus negatīvi: Viegli pārfrāzēti vai jaukti cilvēka un mākslīgā intelekta melnraksti var viegli paslīdēt garām atpazīšanas tvērumam.

Verifikācija: Priekšroka tiek dota procesa pierādījumiem — melnraksta vēsturei, piezīmēm, avotiem un labojumu takām.

Pārvaldība: Nepieciešami pārredzami ierobežojumi, cilvēka veikta pārskatīšana un apelācijas kārtība pirms seku rašanās.

Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:

🔗 Kā darbojas mākslīgā intelekta noteikšana
Skatiet, kā rīki atpazīst mākslīgā intelekta rakstīšanu, izmantojot modeļus un varbūtības.

🔗 Kā mākslīgais intelekts prognozē tendences
Izprotiet, kā algoritmi prognozē pieprasījumu, izmantojot datus un signālus.

🔗 Kā izmantot mākslīgo intelektu savā tālrunī
Praktiski veidi, kā izmantot mākslīgā intelekta lietotnes ikdienas uzdevumiem.

🔗 Vai teksta pārveidošana runā ir mākslīgais intelekts?
Uzziniet, kā TTS sistēmas ģenerē dabiskas balsis no rakstīta teksta.


Kāpēc cilvēki turpina jautāt, vai mākslīgā intelekta detektori ir uzticami 😅

Jo likmes ātri kļuva dīvaini augstas.

  • Skolotāji vēlas aizsargāt akadēmisko integritāti 🎓

  • Redaktori vēlas apturēt bez piepūles rakstītus surogātpasta rakstus 📰

  • Personāla atlases vadītāji vēlas autentiskus rakstīšanas paraugus 💼

  • Studenti vēlas izvairīties no nepatiesām apsūdzībām 😬

  • Zīmoliem ir nepieciešama konsekventa balss, nevis kopēta un ielīmēta satura fabrika 📣

Un dziļi sirdī ir tieksme pēc komforta, ko sniedz mašīna, kas var droši pateikt: “tas ir īsts” vai “tas ir viltojums”. Līdzīgi kā metāla detektors lidostā.

Izņemot… valoda nav metāls. Valoda drīzāk ir kā migla. Var tajā pavērst lukturīti, bet cilvēki tik un tā strīdas par redzēto.

 

AI detektors

Uzticamība praksē salīdzinājumā ar demonstrācijām 🎭

Kontrolētos apstākļos detektori var izskatīties iespaidīgi. Ikdienas lietošanā tas kļūst mazāk glīti — tā kā detektori "neredz autorību", tie redz likumsakarības.

Pat OpenAI tagad pārtrauktā teksta klasifikatora lapa tieši norāda uz galveno problēmu: uzticama noteikšana nav garantēta, un veiktspēja mainās atkarībā no tādiem faktoriem kā teksta garums (īss teksts ir grūtāks). Viņi arī sniedza konkrētu kompromisa piemēru: uztverot tikai daļu no AI teksta, vienlaikus dažreiz nepareizi marķējot cilvēka tekstu. [1]

Ikdienas rakstīšana ir pilna ar mulsinošiem jautājumiem:

  • intensīva rediģēšana

  • veidnes

  • tehnisks tonis

  • nevietējā valodas frāze

  • īsas atbildes

  • stingrs akadēmiskais formatējums

  • “Es to uzrakstīju pulksten 2 naktī, un manas smadzenes bija kā grauzdiņš” enerģija

Tātad detektors varētu reaģēt uz stilu, nevis izcelsmi. Tas ir līdzīgi kā mēģināt noteikt kūkas cepēju, aplūkojot drupačas. Dažreiz to var uzminēt. Dažreiz vienkārši tiek vērtētas drupaču vibrācijas.


Kā darbojas mākslīgā intelekta detektori (un kāpēc tie salūzt) 🧠🔧

Lielākā daļa “mākslīgā intelekta detektoru”, ar kuriem jūs sastapsiet dabā, iedalās divos plašos režīmos:

1) Uz stilu balstīta noteikšana (minēšana pēc teksta modeļiem)

Tas ietver klasiskās “klasifikatora” pieejas un paredzamības/apjukuma pieejas. Rīks apgūst statistiskos signālus, kas mēdz parādīties noteiktos modeļa rezultātos… un pēc tam veic vispārināšanu.

Kāpēc tas saplīst:

  • Arī cilvēka rakstītais var izskatīties “statistisks” (īpaši formāls, uz rubrikām balstīts vai veidnēm balstīts raksts).

  • Mūsdienu rakstīšana bieži tiek jaukta (cilvēka darbs + rediģēšana + mākslīgā intelekta ieteikumi + gramatikas rīki).

  • Instrumenti var kļūt pārāk pārliecināti ārpus savas testēšanas komforta zonas. [1]

2) Izcelsme/ūdenszīme (verifikācija, nevis minēšana)

Tā vietā, lai mēģinātu secināt autorību no "drupatu vibrācijām", izcelsmes sistēmas mēģina pievienot izcelsmes apliecinājuma metadatus vai iegult signālus , kurus vēlāk var pārbaudīt.

NIST darbs pie sintētiskā satura uzsver galveno realitāti: pat ūdenszīmju detektoriem ir kļūdaini pozitīvi un kļūdaini negatīvi rezultāti , kas atšķiras no nulles, un uzticamība ir atkarīga no tā, vai ūdenszīme iztur procesu no izveides → rediģēšanas → atkārtotas publicēšanas → ekrānuzņēmumu → platformas apstrādes. [2]

Tātad, jā, izcelsme principā ir tīrāka... bet tikai tad, ja ekosistēma to atbalsta no sākuma līdz beigām.


Lielie kļūmes režīmi: viltus pozitīvi un viltus negatīvi 😬🫥

Tā ir lietas būtība. Ja vēlaties uzzināt, vai mākslīgā intelekta detektori ir uzticami, jums jāuzdod jautājums: par kādu cenu?

Kļūdaini pozitīvi rezultāti (cilvēks atzīmēts kā mākslīgais intelekts) 😟

Šis ir murgu scenārijs skolās un darba vietās: cilvēks kaut ko uzraksta, tiek atzīmēts ar karodziņu, un pēkšņi viņš aizstāvas pret ciparu ekrānā.

Šeit ir sāpīgi izplatīts modelis:

Students iesniedz īsu pārdomu (piemēram, pāris simtus vārdu).
Detektors izspiež pārliecinoši izskatīgu vērtējumu.
Visi krīt panikā.
Tad jūs uzzināt, ka pats rīks brīdina, ka īsi iesniegumi var būt mazāk uzticami un ka vērtējumu nevajadzētu izmantot kā vienīgo pamatu negatīvai rīcībai. [3]

Turnitin pašu vadlīnijās (tās izlaiduma piezīmēs/dokumentācijā) ir nepārprotami norādīts, ka iesniegumi, kas ir mazāki par 300 vārdiem, var būt mazāk precīzi, un atgādināts iestādēm neizmantot AI vērtējumu kā vienīgo pamatu nelabvēlīgām darbībām pret studentu. [3]

Viltus pozitīvi rezultāti mēdz parādīties arī tad, ja rakstīšana ir:

  • pārāk formāls

  • atkārtojas pēc dizaina (rubrikas, atskaites, zīmola veidnes)

  • īss (mazāks signāls, vairāk minējumu)

  • pamatīgi koriģēts un nopulēts

Detektors būtībā var pateikt: “Šis izskatās pēc tāda paša teksta, kādu esmu redzējis no mākslīgā intelekta”, pat ja tas tā nav. Tā nav ļaunprātība. Tā ir tikai modeļu saskaņošana ar ticamības slīdni.

Viltus negatīvi (mākslīgais intelekts nav atzīmēts) 🫥

Ja kāds izmanto mākslīgo intelektu un veic nelielas rediģēšanas darbības — pārkārto tekstu, pārfrāzē, pievieno cilvēciskas piezīmes —, detektori to var nepamanīt. Turklāt rīki, kas ir noregulēti, lai izvairītos no nepatiesām apsūdzībām, bieži vien pēc būtības palaidīs garām vairāk mākslīgā intelekta teksta (tas ir robežlīmeņa kompromiss). [1]

Tātad jūs varat iegūt sliktāko kombināciju:

  • Sirsnīgi rakstnieki dažreiz tiek atzīmēti

  • apņēmīgi krāpnieki bieži vien to nedara

Ne vienmēr. Bet pietiekami bieži, lai detektoru izmantošana kā "pierādījums" būtu riskanta.


Kas veido “labu” detektora iestatījumu (pat ja detektori nav perfekti) ✅🧪

Ja jūs tik un tā to izmantosiet (jo iestādes dara iestāžu lietas), labs iestatījums izskatās nevis pēc “tiesnesis + žūrija”, bet gan pēc “triāža + pierādījumi”

Atbildīga iestatīšana ietver:

  • Caurspīdīgi ierobežojumi (īsi teksta brīdinājumi, domēnu ierobežojumi, ticamības diapazoni) [1][3]

  • Skaidras robežvērtības + nenoteiktība kā derīgs rezultāts (“mēs nezinām” nevajadzētu būt tabu)

  • Cilvēka veiktā pārskatīšana un procesa pierādījumi (melnraksti, konspekti, pārskatīšanas vēsture, citētie avoti)

  • Politika, kas nepārprotami attur no sodīšanas, tikai uz rezultātu balstītiem lēmumiem [3]

  • Privātuma aizsardzība (neievietojiet sensitīvu rakstu apšaubāmos informācijas paneļos)


Salīdzināšanas tabula: noteikšanas un verifikācijas pieejas 📊🧩

Šim galdam ir nelielas īpatnības ar nolūku, jo tā parasti izskatās galdi, ko cilvēks uzcēlis, malkojot aukstu tēju ☕.

Rīks/pieeja Auditorija Tipisks lietojums Kāpēc tas darbojas (un kāpēc nedarbojas)
Uz stilu balstīti mākslīgā intelekta detektori (vispārīgi “mākslīgā intelekta vērtēšanas” rīki) Ikviens Ātrā triāža Ātri un vienkārši, bet var sajaukt stilu ar izcelsmi — un īsā vai stipri rediģētā tekstā tas parasti ir nepilnīgāk. [1]
Iestāžu detektori (integrēti LMS) Skolas, universitātes Darbplūsmas atzīmēšana Ērti skrīningam, bet riskanti, ja tos uzskata par pierādījumiem; daudzi rīki nepārprotami brīdina par rezultātiem, kuru pamatā ir tikai punktu skaits. [3]
Izcelsmes standarti (satura akreditācijas dati/C2PA stilā) Platformas, ziņu telpas Izcelsmes izsekošana + labojumi Spēcīgāks, ja tiek pieņemts no sākuma līdz beigām; paļaujas uz metadatiem, kas saglabājas plašākā ekosistēmā. [4]
Ūdenszīmju ekosistēmas (piemēram, pārdevējam specifiskas) Instrumentu pārdevēji, platformas Signālu verifikācija Darbojas, ja saturs nāk no ūdenszīmju rīkiem un to var noteikt vēlāk; nav universāls, un detektoriem joprojām ir kļūdu līmenis. [2][5]

Detektori izglītībā 🎓📚

Izglītība ir vissarežģītākā vide detektoriem, jo ​​kaitējums ir personisks un tūlītējs.

Studentiem bieži māca rakstīt tā, lai tas izskatītos “formulāri”, jo viņus burtiski vērtē pēc struktūras:

  • tēzes apgalvojumi

  • rindkopu veidnes

  • konsekvents tonis

  • formālas pārejas

Tātad detektori var sodīt skolēnus par… noteikumu ievērošanu.

Ja skola izmanto detektorus, vispiemērotākā pieeja parasti ietver:

  • detektori tikai kā triāža

  • nav sodu bez cilvēka pārskatīšanas

  • iespējas studentiem izskaidrot savu procesu

  • Vēstures/izklāsta/avotu melnraksts kā daļa no novērtējuma

  • mutiskas turpmākas konsultācijas, ja nepieciešams

Un jā, mutiskas atbildes var šķist kā pratināšana. Taču tās var būt taisnīgākas nekā "robots saka, ka tu krāpies", it īpaši, ja pats detektors brīdina par lēmumiem, kuru pamatā ir tikai rezultāts. [3]


Detektori darbā pieņemšanai un rakstīšanai darba vietā 💼✍️

Darba vietas rakstīšana bieži vien ir:

  • šablonveida

  • pulēts

  • atkārtojošs

  • rediģējuši vairāki cilvēki

Citiem vārdiem sakot: tas var izskatīties algoritmisks pat tad, ja to veic cilvēks.

Ja jūs pieņemat darbā, labāka pieeja nekā paļaušanās uz detektora rezultātu ir:

  • lūgt rakstus, kas saistīti ar reāliem darba uzdevumiem

  • pievienot īsu tiešraides turpinājumu (pat 5 minūtes)

  • vērtējiet argumentāciju un skaidrību, ne tikai “stilu”

  • ļaut kandidātiem iepriekš atklāt mākslīgā intelekta palīdzības noteikumus

Mēģinājums “noteikt mākslīgo intelektu” mūsdienu darbplūsmās ir līdzīgs mēģinājumam noteikt, vai kāds ir izmantojis pareizrakstības pārbaudītāju. Galu galā jūs saprotat, ka pasaule mainījās, kamēr jūs neskatījāties. [1]


Detektori izdevējiem, SEO un moderācijai 📰📈

Detektori var būt noderīgi partiju šķirošanai: aizdomīga satura kaudžu atzīmēšanai, lai tās varētu pārskatīt.

Taču rūpīgs cilvēks-redaktors bieži vien ātrāk pamana “mākslīgā intelekta” problēmas nekā detektors, jo redaktori pamana:

  • neskaidri apgalvojumi bez konkrētām detaļām

  • pārliecināts tonis bez pierādījumiem

  • trūkstoša betona tekstūra

  • “Salikta” frāze, kas neizklausās pēc ierasta

Un te nu ir pavērsiens: tā nav maģiska superspēja. Tā ir tikai redakcionāla instinkta radīt uzticības signālus.


Labākas alternatīvas nekā tīra noteikšana: izcelsme, process un “parādi savu darbu” 🧾🔍

Ja detektori kā pierādījums nav uzticami, labākas iespējas mēdz izskatīties mazāk pēc viena vērtējuma un vairāk pēc slāņveida pierādījumiem.

1) Pierādījumu apstrāde (nepievilcīgais varonis) 😮💨✅

  • melnraksti

  • pārskatīšanas vēsture

  • piezīmes un izklāsti

  • citāti un avotu takas

  • versiju kontrole profesionālai rakstīšanai

2) Autentiskuma pārbaudes, kas nav “apšaubāmas” 🗣️

  • "Kāpēc jūs izvēlējāties šo struktūru?"

  • "Kuru alternatīvu jūs noraidījāt un kāpēc?"

  • "Izskaidrojiet šo rindkopu kādam jaunākam."

3) Izcelsmes standarti + ūdenszīmes, ja iespējams 🧷💧

C2PA satura akreditācijas dati ir izstrādāti, lai palīdzētu auditorijai izsekot izcelsmi un rediģēšanas vēsturi (piemēram, multivides “uzturvērtības marķējuma” koncepcija). [4]
Tikmēr Google SynthID ekosistēma koncentrējas uz ūdenszīmju pievienošanu un vēlāku noteikšanu saturam, kas ģenerēts ar atbalstītiem Google rīkiem (un detektoru portālu, kas skenē augšupielādētos failus un izceļ iespējamos ūdenszīmju apgabalus). [5]

Šīs ir uz verifikāciju balstītas pieejas — ne perfektas, ne universālas, bet norāda skaidrākā virzienā nekā “minējums pēc vibrācijām”. [2]

4) Skaidra politika, kas atbilst realitātei 📜

“Mākslīgais intelekts ir aizliegts” ir vienkārši… un bieži vien nereāli. Daudzas organizācijas virzās uz:

  • “Mākslīgais intelekts ļāva ģenerēt idejas, nevis izstrādāt galīgo versiju.”

  • “Mākslīgais intelekts ir atļauts, ja tas tiek atklāts”

  • “Mākslīgais intelekts pieļāva gramatiku un skaidrību, taču oriģinālam spriedumam jābūt jūsu pašu radītam.”


Atbildīgs veids, kā izmantot mākslīgā intelekta detektorus (ja nepieciešams) ⚖️🧠

  1. Izmantojiet detektorus tikai kā karodziņu.
    Tas nav spriedums. Tas nav soda iedarbināšanas līdzeklis. [3]

  2. Pārbaudiet teksta tipu
    : Īsa atbilde? Aizzīmju saraksts? Stipri rediģēts? Sagaidāmi mazāk iespaidīgi rezultāti. [1][3]

  3. Meklējiet pamatotus pierādījumus
    – melnrakstus, atsauces, konsekventu balsi laika gaitā un autora spēju izskaidrot izvēles.

  4. Pieņemsim, ka jaukta autorība tagad ir normāla parādība.
    Cilvēki + redaktori + gramatikas rīki + mākslīgā intelekta ieteikumi + veidnes ir… otrdiena.

  5. Nekad nepaļaujieties uz vienu skaitli
    . Viens rezultāts veicina slinkus lēmumus, un slinki lēmumi ir iemesls, kāpēc rodas nepatiesas apsūdzības. [3]


Noslēguma piezīme ✨

Tātad, uzticamības attēls izskatās šādi:

  • Uzticams kā aptuvens mājiens: dažreiz ✅

  • Uzticams pierādījums: nē ❌

  • Drošs kā vienīgais pamats sodam vai notriekšanai: absolūti nē 😬

Apstrādājiet detektorus kā dūmu detektoru:

  • tas var ieteikt, ka jums vajadzētu ieskatīties tuvāk

  • tas nevar precīzi pateikt, kas notika

  • tas nevar aizstāt izmeklēšanu, kontekstu un procesa pierādījumus

Patiesības mašīnas ar vienu klikšķi galvenokārt paredzētas zinātniskajai fantastikai vai reklāmām.

Reālās pasaules piemērs: Mākslīgā intelekta detektora izmantošana kā pārskatīšanas signāls skolā 🎓🔍

Scenārijs

Sestās klases angļu valodas skolotājam ir jāpārskata 28 esejas. Skola atļauj izmantot gramatikas rīkus, bet ne pilnībā mākslīgā intelekta rakstītus darbus. Tā vietā, lai uzskatītu mākslīgā intelekta detektora rezultātu par pierādījumu, skolotājs to izmanto kā triāžas signālu.

Mērķis nav "pieķert" studentus, pamatojoties uz vienu vērtējumu. Mērķis ir izlemt, kuriem iesniegumiem jāpievērš lielāka uzmanība, un pēc tam salīdzināt katru eseju ar procesa pierādījumiem: konspektu piezīmēm, avotu sarakstu, melnraksta vēsturi un īsu studenta skaidrojumu.

Kas skolotājam ir nepieciešams

Praktisks iestatījums varētu ietvert:

  • noslēguma eseja

  • studenta konspekts vai plānošanas piezīmes

  • versiju vēsture no Google dokumentiem, Word vai skolas mācību pārvaldības sistēmas (LMS)

  • uzdevuma apraksts un vērtēšanas rubrika

  • jebkura mākslīgā intelekta lietošanas politika, kas tika sniegta studentiem

  • Īsa studenta pārdomu daļa: “Kā jūs pamatojāt šo argumentu?”

Instrukcijas piemērs

Pirms atkārtošanas skolotājs varētu izmantot šādu kontrolsarakstu:

Izmantojiet detektora vērtējumu tikai kā vērtēšanas karodziņu. Neuztveriet to kā pierādījumu par pārkāpumu. Salīdziniet gala eseju ar studenta piezīmēm, iepriekšējiem melnrakstiem, citātiem un spēju paskaidrot savu izvēli. Ja teksts ir mazāks par 300 vārdiem, ir stipri veidots no veidnēm vai rakstīts ļoti formālā stilā, atzīmējiet detektora rezultātu kā zemu ticamības pakāpi. Eskalējiet tikai tad, ja vairāki signāli norāda vienā virzienā.

Kā to pārbaudīt

Pirms jebkura detektora izmantošanas reālos gadījumos skola varētu veikt nelielu iekšēju pārbaudi:

  1. Savākt 10 zināmus cilvēku rakstītus paraugus ar melnraksta vēsturi.

  2. Savākt 5 mākslīgā intelekta ģenerētus paraugus, kas izveidoti testēšanai.

  3. Savāciet 5 jauktus paraugus, kur tekstu ir rediģējis cilvēks ar mākslīgo intelektu.

  4. Izlaidiet visus 20 paraugus caur detektoru.

  5. Reģistrējiet viltus pozitīvus, viltus negatīvus un “neskaidri” gadījumus.

  6. Palūdziet diviem skolotājiem pārskatīt vienus un tos pašus paraugus, izmantojot melnrakstus, piezīmes un studentu skaidrojumus.

  7. Salīdziniet, kura metode radīja mazāk negodīgu karogu.

Rezultāts

Ilustrējošs rezultāts: 20 paraugu testā, piemēram, iepriekš minētajā, detektors varētu atzīmēt 7 rakstus kā “iespējams, mākslīgais intelekts”. Pēc melnraksta vēstures un studentu skaidrojumu pārbaudes 3 no šiem atzīmēm varētu izrādīties kļūdaini pozitīvi.

Tas nozīmē, ka detektors no pirmā acu uzmetiena šķita noderīgs, taču tikai uz vērtējumu balstīta sistēma kļūdaini apstrīdētu 15% no kopējā izlases kopuma. Drošāka darbplūsma aizņēma ilgāku laiku — aptuveni 8 minūtes katrai atzīmētajai esejai, nevis 1–2 minūtes ātrai vērtējuma pārbaudei —, taču tā deva skolotājam iespēju atdalīt vājus signālus no spēcīgākiem pierādījumiem.

Šo rādītāju ir viegli pārbaudīt: saskaitiet atzīmētos iesniegumus, saskaitiet, cik no tiem tiek apstiprināti pēc procesa pārskatīšanas, un izsekojiet katras lietas pārskatīšanas laiku.

Kas var noiet greizi

Lielākā kļūda ir detektora informācijas paneļa uztveršana kā spriedums.

Citas izplatītas kļūdas ir šādas:

  • izmantojot detektorus ļoti īsām atbildēm

  • ignorējot ne-dzimtās valodas rakstīšanas modeļus

  • aizmirstot, ka pulēts cilvēka raksts var izskatīties “līdzīgs mākslīgajam intelektam”

  • pieņemot, ka “nav atzīmēts” nozīmē “noteikti cilvēks”

  • nedodot studentiem iespēju izskaidrot savu darbu

  • privātu studentu rakstīšanas rīku izmantošana, nepārbaudot datu politikas

Praktiska līdzņemšana

Detektors var palīdzēt izlemt, kur meklēt vispirms, taču tam nekad nevajadzētu izlemt, kas noticis. Godīgāks jautājums nav "Kādu vērtējumu piešķīra instruments?", bet gan "Vai students var parādīt, kā šis darbs tika paveikts?"


Bieži uzdotie jautājumi

Vai mākslīgā intelekta teksta detektori ir uzticami, lai pierādītu, ka kāds ir izmantojis mākslīgo intelektu?

Mākslīgā intelekta teksta detektori nav uzticams autorības pierādījums. Tie var kalpot kā ātrs signāls, ka kaut kas varētu būt pārskatīšanas vērts, īpaši garāku paraugu gadījumā, taču viens un tas pats rezultāts var būt nepareizs abos virzienos. Augstas likmes situācijās rakstā ieteikts detektora rezultātus uztvert kā mājienu, nevis pierādījumu, un izvairīties no jebkādiem lēmumiem, kas ir atkarīgi no viena skaitļa.

Kāpēc mākslīgā intelekta detektori cilvēka rakstīto tekstu atzīmē kā mākslīgo intelektu?

Kļūdaini pozitīvi rezultāti rodas, ja detektori reaģē uz stilu, nevis izcelsmi. Formāls, šablonisks, ļoti noslīpēts vai īss raksts var tikt uztverts kā “statistisks” un izraisīt pārliecinošus rezultātus pat tad, ja tas ir pilnībā cilvēcisks. Rakstā norādīts, ka tas ir īpaši izplatīts tādās vidēs kā skola vai darbs, kur tiek atalgota struktūra, konsekvence un skaidrība, kas var netīši līdzināties modeļiem, ko detektori saista ar mākslīgā intelekta izvadi.

Kāda veida rakstīšana padara mākslīgā intelekta noteikšanu mazāk precīzu?

Īsi paraugi, stipri rediģēts teksts, tehnisks vai stingrs akadēmisks formatējums un nevietējā valodā lietota frāze parasti rada trokšņainākus rezultātus. Rakstā uzsvērts, ka ikdienas rakstīšanā ir daudz traucējošu faktoru — veidnes, korektūra un jaukti rakstīšanas rīki —, kas mulsina uz modeļiem balstītas sistēmas. Šādos gadījumos “mākslīgā intelekta rezultāts” ir tuvāks apšaubāmam minējumam, nevis uzticamam mērījumam.

Vai kāds var apiet mākslīgā intelekta teksta detektorus, pārfrāzējot?

Jā, viltus negatīvi rezultāti ir bieži sastopami, ja mākslīgā intelekta teksts ir nedaudz rediģēts. Rakstā ir paskaidrots, ka teikumu pārkārtošana, pārfrāzēšana vai cilvēka un mākslīgā intelekta teksta sajaukšana var mazināt detektora uzticamību un ļaut mākslīgā intelekta palīdzētam darbam paslīdēt garām. Detektoriem, kas noregulēti, lai izvairītos no viltus apsūdzībām, bieži vien pēc būtības ir palaiduši garām vairāk mākslīgā intelekta satura, tāpēc “nav atzīmēts” nenozīmē “noteikti cilvēka darbs”

Kāda ir drošāka alternatīva paļaušanai uz mākslīgā intelekta detektora rezultātiem?

Rakstā ieteikts procesa pierādījums, nevis modeļu minēšana. Melnraksta vēsture, izklāsts, piezīmes, citētie avoti un pārskatīšanas takas sniedz konkrētākus autorības pierādījumus nekā detektora vērtējums. Daudzās darbplūsmās “parādiet savu darbu” ir gan taisnīgāk, gan grūtāk apspēlēt. Slāņoti pierādījumi arī samazina risku sodīt īstu rakstnieku maldinošas automatizētas klasifikācijas dēļ.

Kā skolām vajadzētu izmantot mākslīgā intelekta detektorus, nekaitējot skolēniem?

Izglītība ir augsta riska vide, jo sekas ir personiskas un tūlītējas. Rakstā apgalvots, ka detektoriem vajadzētu būt tikai triāžas tipam, nevis par pamatu sodiem bez cilvēka veiktas pārskatīšanas. Aizstāvama pieeja ietver skolēnu procesa izskaidrošanas iespēju, melnrakstu un konspektu izskatīšanu un nepieciešamības gadījumā papildu jautājumu izmantošanu, nevis vērtējuma uztveršanu kā spriedumu, īpaši īsu iesniegumu gadījumā.

Vai mākslīgā intelekta detektori ir piemēroti darbā pieņemšanas un darba vietas paraugu rakstīšanas vajadzībām?

Kā vārtu sardzes rīki tie ir riskanti, jo darba vietas rakstus bieži vien slīpē, veido veidnes un rediģē vairāki cilvēki, kas var izskatīties “algoritmiski” pat tad, ja tos veic cilvēki. Rakstā ieteiktas labākas alternatīvas: ar darbu saistīti rakstīšanas uzdevumi, īslaicīgi turpmāki uzdevumi un spriešanas un skaidrības izvērtēšana. Tajā arī norādīts, ka jaukta autorība mūsdienu darbplūsmās arvien biežāk ir ierasta parādība.

Kāda ir atšķirība starp mākslīgā intelekta noteikšanu un izcelsmes vai ūdenszīmju pievienošanu?

Autorības noteikšana mēģina secināt autorību no teksta modeļiem, kas var sajaukt stilu ar izcelsmi. Izcelsmes un ūdenszīmju mērķis ir pārbaudīt satura izcelsmi, izmantojot metadatus vai iegultus signālus, kurus vēlāk var pārbaudīt. Rakstā uzsvērts, ka pat šīs verifikācijas pieejas nav perfektas — signāli var tikt zaudēti rediģēšanas vai atkārtotas publicēšanas dēļ —, taču tās ir konceptuāli tīrākas, ja tiek atbalstītas no sākuma līdz beigām.

Kā izskatās “atbildīga” mākslīgā intelekta detektora iestatīšana?

Rakstā atbildīga lietošana tiek definēta kā “triāža + pierādījumi”, nevis “tiesnesis + žūrija”. Tas nozīmē pārredzamus ierobežojumus, nenoteiktības pieņemšanu, cilvēka veiktu pārskatīšanu un apelācijas ceļu pirms sekām. Tajā arī aicināts pārbaudīt teksta veidu (īss vai garš, rediģēts vai neapstrādāts), dot priekšroku pamatotiem pierādījumiem, piemēram, melnrakstiem un avotiem, un izvairīties no soda, tikai vērtējuma noteikšanas rezultātiem, kas var novest pie nepatiesām apsūdzībām.

Atsauces

[1] OpenAI — jauns mākslīgā intelekta klasifikators mākslīgā intelekta rakstīta teksta apzīmēšanai (ietver ierobežojumus + novērtējuma apspriešanu) — lasīt vairāk
[2] NIST — sintētiskā satura radīto risku samazināšana (NIST AI 100-4)lasīt vairāk
[3] Turnitin — mākslīgā intelekta rakstīšanas noteikšanas modelis (ietver brīdinājumus par īsu tekstu + vērtējuma neizmantošanu kā vienīgo pamatu nelabvēlīgai rīcībai) — lasīt vairāk
[4] C2PA — C2PA/satura akreditācijas datu pārskatslasīt vairāk
[5] Google — SynthID detektors — portāls, kas palīdz identificēt mākslīgā intelekta ģenerētu saturulasīt vairāk

Atrodiet jaunāko mākslīgo intelektu oficiālajā mākslīgā intelekta palīgu veikalā

Par mums

Atpakaļ uz emuāru

Papildu bieži uzdotie jautājumi

  • Vai es varu uzticēties mākslīgā intelekta detektoriem, lai pierādītu autorību?

    Mākslīgā intelekta detektori nav uzticami autorības pierādīšanai. Tie var norādīt uz kaut ko, kas ir pelnījis rūpīgāku izpēti, īpaši garāku teksta paraugu gadījumā, taču rezultāti bieži vien var būt maldinoši. Ieteicams šos rezultātus uztvert kā norādes, nevis konkrētus pierādījumus.

  • Kāpēc mākslīgā intelekta detektori dažreiz atzīmē cilvēka radītu rakstību?

    Mākslīgā intelekta detektori var radīt kļūdaini pozitīvus rezultātus, kas nozīmē, ka tie var nepareizi identificēt cilvēka rakstītu tekstu kā mākslīgā intelekta ģenerētu. Tas bieži notiek ar formāliem, ļoti noslīpētiem vai īsiem tekstiem, jo ​​rakstīšanas modeļi var līdzināties mākslīgā intelekta izvades modeļiem.

  • Kādi faktori veicina mākslīgā intelekta noteikšanas neprecizitātes?

    Ir zināms, ka īsi paraugi, stipri rediģēti teksti, tehniska rakstura stili un stingrs formatējums samazina mākslīgā intelekta noteikšanas precizitāti. Ikdienas rakstībā bieži ir jaukti elementi un traucējoši faktori, kas var mulsināt detektorus.

  • Vai pārfrāzēšana var palīdzēt apiet mākslīgā intelekta teksta detektorus?

    Jā, viegla rediģēšana vai pārfrāzēšana var radīt kļūdaini negatīvus rezultātus, kad mākslīgā intelekta ģenerēts teksts netiek atklāts. Detektori ir izstrādāti tā, lai izvairītos no pārmērīgas atzīmēšanas, kā rezultātā tie var nepamanīt mākslīgā intelekta ģenerētu saturu, ja tas tiek sajaukts ar cilvēka rakstītu tekstu.

  • Uz ko man vajadzētu paļauties mākslīgā intelekta detektora rezultātu vietā?

    Tā vietā, lai paļautos tikai uz mākslīgā intelekta detektora rezultātiem, ieteicams meklēt procesa pierādījumus, piemēram, melnrakstu vēstures, izklāstus un citātus. Šāda veida dokumentācija sniedz spēcīgāku autorības pierādījumu nekā viens noteikšanas rezultāts.

  • Kā izglītības iestādes var atbildīgi izmantot mākslīgā intelekta detektorus?

    Izglītības iestādēm mākslīgā intelekta detektori jāizmanto kā sākotnējs instruments, nevis kā galīgs spriedums. Ir svarīgi iekļaut cilvēka veiktu pārskatīšanu, ļaut studentiem izskaidrot savu rakstīšanas procesu un apsvērt melnrakstus, pirms tiek veiktas jebkādas darbības, pamatojoties tikai uz detektoru rezultātiem.

  • Vai ir ieteicams izmantot mākslīgā intelekta detektorus darbā pieņemšanas procesos?

    Mākslīgā intelekta detektoru izmantošana darbā pieņemšanas procesos var būt riskanta, jo darba vietas rakstīšana bieži vien ir strukturēta un noslīpēta, atgādinot mākslīgā intelekta ģenerētu saturu. Alternatīvas metodes varētu ietvert reālu darba uzdevumu novērtēšanu vai īsu papildu diskusiju pievienošanu, lai novērtētu kandidāta argumentāciju un skaidrību.

  • Kādi ir mākslīgā intelekta noteikšanas ierobežojumi, salīdzinot ar izcelsmes noteikšanu vai ūdenszīmēm?

    Mākslīgā intelekta noteikšana balstās uz autorības noteikšanas modeļu atpazīšanu, kas var sajaukt stilu ar rakstīšanas avotu. Turpretī izcelsmes un ūdenszīmju mērķis ir pārbaudīt satura izcelsmi, izmantojot iegultos metadatus, lai gan neviena no metodēm nav nevainojama iespējamā signāla zuduma dēļ rediģēšanas laikā.