Kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi?

Kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi?

Īsa atbilde: Pamatmodeļi ir lieli, vispārējas nozīmes mākslīgā intelekta modeļi, kas apmācīti ar milzīgām, plašām datu kopām un pēc tam pielāgoti daudziem uzdevumiem (rakstīšanai, meklēšanai, kodēšanai, attēliem), izmantojot uzvednes, precizēšanu, rīkus vai izgūšanu. Ja jums ir nepieciešamas uzticamas atbildes, savienojiet tās ar pamatojumu (piemēram, RAG), skaidriem ierobežojumiem un pārbaudēm, nevis ļaujiet tām improvizēt.

Galvenie secinājumi:

Definīcija : Viens plaši apmācīts bāzes modelis, kas tiek atkārtoti izmantots daudziem uzdevumiem, nevis viens uzdevums katram modelim.

Adaptācija : Izmantojiet pamudināšanu, precizēšanu, LoRA/adapterus, RAG un rīkus uzvedības vadīšanai.

Ģeneratīvā atbilstība : tie nodrošina teksta, attēlu, audio, koda un multimodāla satura ģenerēšanu.

Kvalitātes signāli : prioritāte kontrolējamībai, mazāk halucinācijām, multimodālām spējām un efektīvai secinājumu izdarīšanai.

Riska kontrole : plānojiet halucinācijas, aizspriedumus, privātuma noplūdi un veiciniet tūlītēju injekciju, izmantojot pārvaldību un testēšanu.

Kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi? Infografika

Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:

🔗 Kas ir mākslīgā intelekta uzņēmums
Izprotiet, kā mākslīgā intelekta uzņēmumi veido produktus, komandas un ieņēmumu modeļus.

🔗 Kā izskatās mākslīgā intelekta kods
Skatiet mākslīgā intelekta koda piemērus, sākot no Python modeļiem līdz API.

🔗 Kas ir mākslīgā intelekta algoritms
Uzziniet, kas ir mākslīgā intelekta algoritmi un kā tie pieņem lēmumus.

🔗 Kas ir mākslīgā intelekta tehnoloģija
Iepazīstieties ar galvenajām mākslīgā intelekta tehnoloģijām, kas nodrošina automatizāciju, analītiku un viedās lietotnes.

1) Pamatmodeļi — definīcija bez miglas 🧠

Pamatmodelis , kas apmācīts ar plašiem datiem (parasti ļoti daudziem), lai to varētu pielāgot daudziem uzdevumiem, ne tikai vienam ( NIST , Stanford CRFM ).

Tā vietā, lai izveidotu atsevišķu modeli:

  • e-pasta rakstīšana

  • atbildot uz jautājumiem

  • PDF failu kopsavilkums

  • attēlu ģenerēšana

  • atbalsta pieprasījumu klasificēšana

  • valodu tulkošana

  • koda ieteikumu sniegšana

...jūs apmācāt vienu lielu bāzes modeli, kas “apgūst pasauli” neskaidrā statistiskā veidā, pēc tam pielāgojat to konkrētiem uzdevumiem, izmantojot uzvednes, precizēšanu vai pievienotus rīkus ( Bommasani et al., 2021 ).

Citiem vārdiem sakot: tas ir universāls dzinējs , ko var vadīt.

Un jā, atslēgvārds ir “vispārīgi”. Tā ir visa būtība.

2) Kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi? (Kā tie konkrēti iederas) 🎨📝

Tātad, kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi? Tie ir pamatā esošie modeļi, kas darbina sistēmas, kuras var ģenerēt jaunu saturu — tekstu, attēlus, audio, kodu, video un arvien vairāk… visu šo elementu maisījumus ( NIST , NIST ģeneratīvā mākslīgā intelekta profils ).

Ģeneratīvais mākslīgais intelekts nav tikai tādu apzīmējumu kā “surogātpasts/ne surogātpasts” prognozēšana. Tas ir par tādu rezultātu ģenerēšanu, kas izskatās tā, it kā tos būtu radījis cilvēks.

  • rindkopas

  • dzejoļi

  • produktu apraksti

  • ilustrācijas

  • melodijas

  • lietotņu prototipi

  • sintētiskās balsis

  • un dažreiz neticami pārliecinātas muļķības 🙃

Pamatu modeļi šeit ir īpaši labi, jo:

Tie ir “pamatkārta” – kā maizes mīkla. To var cept bagetē, picā vai kanēļa rullītēs… ne gluži perfekta metafora, bet jūs mani saprotat 😄

3) Kāpēc viņi visu mainīja (un kāpēc cilvēki nebeidz par viņiem runāt) 🚀

Pirms pamatmodeļiem liela daļa mākslīgā intelekta bija specifiska uzdevumiem:

  • apmācīt modeli noskaņojuma analīzei

  • apmācīt citu tulkošanas darbam

  • apmācīt citu attēlu klasificēšanai

  • apmācīt citu nosaukto vienību atpazīšanai

Tas darbojās, bet bija lēns, dārgs un kaut kā… trausls.

Pamatu modeļi to apgrieza otrādi:

  • vienreiz sagatavoties treniņam (lielas pūles)

  • atkārtota izmantošana visur (liela atdeve) ( Bommasani et al., 2021 )

Šī atkārtotā izmantošana ir reizinātājs. Uzņēmumi var uz vienas modeļu saimes pamata izveidot 20 funkcijas, nevis 20 reizes no jauna izgudrot riteni.

Arī lietotāja pieredze kļuva dabiskāka:

  • jūs "neizmantojat klasifikatoru"

  • Tu runā ar modeli tā, it kā tas būtu izpalīdzīgs kolēģis, kurš nekad neguļ ☕🤝

Dažreiz tas ir arī kā kolēģis, kurš pārliecināti visu pārprot, bet nu, nudien. Izaugsme.

4) Galvenā ideja: iepriekšēja apmācība + adaptācija 🧩

Gandrīz visi pamatmodeļi atbilst noteiktam modelim ( Stenfordas CRFM , NIST ):

Iepriekšēja apmācība (fāze, kurā tiek apgūta interneta vide) 📚

Modelis tiek apmācīts ar milzīgiem, plašiem datu kopumiem, izmantojot pašapkalpotu mācīšanos ( NIST ). Valodu modeļiem tas parasti nozīmē trūkstošo vārdu vai nākamā marķiera prognozēšanu ( Devlin et al., 2018 , Brown et al., 2020 ).

Jēga nav iemācīt tam vienu uzdevumu. Jēga ir iemācīt tam vispārīgus priekšstatus :

  • gramatika

  • fakti (kaut kā)

  • spriešanas modeļi (dažreiz)

  • rakstīšanas stili

  • koda struktūra

  • kopīgs cilvēka nodoms

Adaptācija (fāze “padarīt to praktisku”) 🛠️

Pēc tam pielāgojiet to, izmantojot vienu vai vairākus no šiem veidiem:

  • pamudināšana (instrukcijas vienkāršā valodā)

  • instrukciju regulēšana (apmācība, lai izpildītu instrukcijas) ( Wei et al., 2021 )

  • precizēšana (apmācība ar jūsu domēna datiem)

  • LoRA/adapteri (vieglās regulēšanas metodes) ( Hu et al., 2021 )

  • RAG (izguves papildināta ģenerēšana — modelis konsultējas ar jūsu dokumentiem) ( Lewis et al., 2020 )

  • rīku lietošana (funkciju izsaukšana, iekšējo sistēmu pārlūkošana utt.)

Tāpēc tas pats bāzes modelis var uzrakstīt romantisku ainu… un pēc tam piecas sekundes vēlāk palīdzēt atkļūdot SQL vaicājumu 😭

5) Kas veido labu pamatmodeļa versiju? ✅

Šī ir sadaļa, ko cilvēki izlaiž un vēlāk nožēlo.

“Labs” pamatmodelis nav tikai “lielāks”. Lielāks, protams, palīdz… bet tas nav vienīgais. Labai pamatmodeļa versijai parasti ir:

Spēcīgs vispārinājums 🧠

Tas labi darbojas daudzos uzdevumos bez nepieciešamības veikt specifisku pārkvalifikāciju ( Bommasani et al., 2021 ).

Stūrēšana un vadāmība 🎛️

Tas var droši izpildīt norādījumus, piemēram:

  • "Esiet kodolīgs"

  • “izmantot aizzīmes”

  • "Rakstiet draudzīgā tonī"

  • "Neizpaust konfidenciālu informāciju"

Daži modeļi ir gudri, bet slideni. It kā mēģinātu dušā noturēt ziepju gabaliņu. Noderīgi, bet nepastāvīgi 😅

Zema halucināciju tendence (vai vismaz atklāta nenoteiktība) 🧯

Neviens modelis nav imūns pret halucinācijām, bet labie modeļi:

Labas multimodālās spējas (kad nepieciešams) 🖼️🎧

Ja veidojat asistentus, kas lasa attēlus, interpretē diagrammas vai saprot audio, multimodālajai izpratnei ir liela nozīme ( Radford et al., 2021 ).

Efektīva secinājumu izdarīšana ⚡

Latentums un izmaksas ir svarīgas. Modelis, kas ir spēcīgs, bet lēns, ir kā sporta automašīna ar pārdurtu riepu.

Drošība un izlīdzināšanas uzvedība 🧩

Ne tikai "atteikties no visa", bet arī:

  • izvairieties no kaitīgiem norādījumiem

  • mazināt aizspriedumus

  • uzmanīgi rīkojieties ar jutīgām tēmām

  • pretoties pamata jailbreak mēģinājumiem (nedaudz…) ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Dokumentācija + ekosistēma 🌱

Tas izklausās sausi, bet tā ir taisnība:

  • instrumenti

  • eval zirglietas

  • izvietošanas iespējas

  • uzņēmuma kontroles

  • precizējošais atbalsts

Jā, vārds “ekosistēma” ir neskaidrs. Arī es to ienīstu. Bet tam ir nozīme.

6) Salīdzināšanas tabula — izplatītākās pamatu modeļu iespējas (un to piemērotība) 🧾

Zemāk ir sniegta praktiska, nedaudz nepilnīga salīdzināšanas tabula. Tā nav “vienīgā patiesā saraksta”, bet gan drīzāk: ko cilvēki izvēlas savvaļā.

instrumenta/modeļa tips auditorija dārgs kāpēc tas darbojas
Patentēta LLM (tērzēšanas stilā) komandas, kas vēlas ātrumu un spodrinājumu uz lietošanu balstīts/abonēšanas Lieliska instrukciju ievērošana, labs kopējais sniegums, parasti vislabāk darbojas uzreiz pēc izņemšanas no kastes 😌
Atvērtā svara LLM (pašpārvaldāma) celtnieki, kuri vēlas kontroli infrastruktūras izmaksas (un galvassāpes) Pielāgojams, privātumam draudzīgs, var darboties lokāli… ja jums patīk darboties pusnaktī
Difūzijas attēlu ģenerators radošie darbinieki, dizaina komandas no gandrīz bezmaksas līdz maksas Lieliska attēlu sintēze, stilu dažādība, iteratīvas darbplūsmas (arī: pirksti var nebūt piemēroti) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Multimodāls “redzes valodas” modelis lietotnes, kas nolasa attēlus + tekstu uz lietošanu balstīts Ļauj uzdot jautājumus par attēliem, ekrānuzņēmumiem, diagrammām — pārsteidzoši ērti ( Radford et al., 2021 )
Iegulšanas pamatu modelis meklēšana + RAG sistēmas zemas izmaksas par zvanu Pārvērš tekstu vektoros semantiskai meklēšanai, klasterizācijai, ieteikumiem — klusa MVP enerģija ( Karpukhin et al., 2020 , Douze et al., 2024 )
Runas pārveidošanas tekstā pamatmodelis zvanu centri, veidotāji uz lietošanu balstīts/lokāls Ātra transkripcija, daudzvalodu atbalsts, pietiekami labs trokšņainam audio (parasti) 🎙️ ( Čuksts )
Teksta pārveidošanas runā pamatmodelis produktu komandas, mediji uz lietošanu balstīts Dabiska balss ģenerēšana, balss stili, stāstījums — var kļūt spocīgi reāli ( Shen et al., 2017 )
Uz kodu orientēta LLM izstrādātāji uz lietošanu balstīts/abonēšanas Labāk padodas koda modeļi, atkļūdošana, refaktorēšana… lai gan joprojām neesmu domu lasītājs 😅

Ievērojiet, ka “pamata modelis” nenozīmē tikai “tērzēšanas robotu”. Arī iegulšanas un runas modeļi var būt pamatmodeļu līmenī, jo tie ir plaši un atkārtoti izmantojami dažādos uzdevumos ( Bommasani et al., 2021 , NIST ).

7) Tuvāk: kā valodas pamatmodeļi mācās (vibrācijas versija) 🧠🧃

Valodas pamatmodeļi (bieži saukti par LLM) parasti tiek apmācīti, izmantojot milzīgas teksta kolekcijas. Tie mācās, paredzot žetonus ( Brown et al., 2020 ). Tas arī viss. Nav nekādu slepenu feju putekļu.

Bet maģija ir tāda, ka žetonu prognozēšana piespiež modeli apgūt struktūru ( CSET ):

  • gramatika un sintakse

  • tēmu attiecības

  • spriešanas līdzīgi modeļi (dažreiz)

  • kopīgas domu secības

  • kā cilvēki skaidro lietas, strīdas, atvainojas, risina sarunas, māca

Tas ir kā mācīties atdarināt miljoniem sarunu, "nesaprotot" to, kā to dara cilvēki. Izskatās, ka tam nevajadzētu darboties... un tomēr tas turpina darboties.

Viens neliels pārspīlējums: tas būtībā ir kā cilvēka rakstīta teksta saspiešana milzīgā varbūtības smadzeņu blokā.
No otras puses, šī metafora ir mazliet nolādēta. Bet mēs kustamies 😄

8) Tuvāk: difūzijas modeļi (kāpēc attēli darbojas atšķirīgi) 🎨🌀

Attēlu pamatu modeļos bieži tiek izmantotas difūzijas metodes ( Ho et al., 2020 , Rombach et al., 2021 ).

Aptuvena ideja:

  1. pievienot attēliem troksni, līdz tie būtībā ir statiski TV režīmā

  2. apmācīt modeli, lai soli pa solim mainītu šo troksni

  3. ģenerēšanas laikā sāciet ar troksni un “noņemiet troksni” attēlā, vadoties pēc uzvednes ( Ho et al., 2020 ).

Tāpēc attēlu ģenerēšana šķiet līdzīga fotoattēla “attīstīšanai”, izņemot to, ka fotoattēlā ir redzams pūķis sporta apavos lielveikala ejā 🛒🐉

Difūzijas modeļi ir labi, jo:

  • tie ģenerē augstas kvalitātes vizuālos attēlus

  • tos var spēcīgi vadīt teksts

  • tie atbalsta iteratīvu pilnveidošanu (variācijas, pārzīmēšanu, mērogošanu) ( Rombach et al., 2021 )

Viņi arī dažreiz cīnās ar:

  • teksta atveidošana attēlos

  • smalkas anatomijas detaļas

  • konsekventa tēla identitāte dažādās ainās (tā uzlabojas, bet tomēr)

9) Tuvāk: multimodāli pamatmodeļi (teksts + attēli + audio) 👀🎧📝

Multimodālie pamatmodeļi ir paredzēti, lai izprastu un ģenerētu vairākus datu tipus:

Kāpēc tas ir svarīgi reālajā dzīvē:

  • klientu atbalsta dienests var interpretēt ekrānuzņēmumus

  • pieejamības rīki var aprakstīt attēlus

  • Izglītības lietotnes var izskaidrot diagrammas

  • veidotāji var ātri remiksēt formātus

  • biznesa rīki var “nolasīt” informācijas paneļa ekrānuzņēmumu un apkopot to

Zem pārsega multimodālās sistēmas bieži vien saskaņo attēlojumus:

  • pārvērst attēlu iegultos elementos

  • pārvērst tekstu iegultos elementos

  • apgūstiet koplietojamu telpu, kur “kaķis” atbilst kaķa pikseļiem 😺 ( Radford et al., 2021 )

Tas ne vienmēr ir eleganti. Dažreiz tas ir sašūts kopā kā sega. Bet tas darbojas.

10) Precīza regulēšana vs. pamudināšana vs. RAG (kā pielāgot bāzes modeli) 🧰

Ja mēģināt izveidot pamatmodeli, kas ir praktisks konkrētai jomai (juridiskā, medicīniskā, klientu apkalpošanas, iekšējo zināšanu jomā), jums ir dažas iespējas:

Pamudinājums 🗣️

Ātrākais un vienkāršākais.

  • plusi: nav apmācības, tūlītēja iterācija

  • mīnusi: var būt nekonsekventi, konteksta ierobežojumi, veicina nestabilitāti

Precīza regulēšana 🎯

Apmāciet modeli tālāk, izmantojot savus piemērus.

  • plusi: konsekventāka darbība, labāka domēna valoda, var samazināt uzvednes garumu

  • Mīnusi: izmaksas, datu kvalitātes prasības, pārmērīgas pielāgošanas risks, uzturēšana

Viegla regulēšana (LoRA / adapteri) 🧩

Efektīvāka precizēšanas versija ( Hu et al., 2021 ).

  • plusi: lētāki, modulāri, vieglāk nomaināmi

  • mīnusi: joprojām nepieciešama apmācību plūsma un novērtēšana

RAG (izguves paplašināta paaudze) 🔎

Modelis izgūst atbilstošos dokumentus no jūsu zināšanu bāzes un, izmantojot tos, sniedz atbildes ( Lewis et al., 2020 ).

  • plusi: aktuālas zināšanas, iekšēja atsauce (ja to ieviešat), mazāka atkārtota apmācība

  • Mīnusi: izguves kvalitāte var būt izšķiroša vai neveiksmīga, nepieciešama laba sadalīšana fragmentos + iegulšana

Īsa diskusija: daudzas veiksmīgas sistēmas apvieno pamudināšanu + RAG. Precīza regulēšana ir spēcīga, bet ne vienmēr nepieciešama. Cilvēki to pārsteidz, jo tā izklausās iespaidīgi 😅

11) Riski, ierobežojumi un sadaļa “lūdzu, neizmantojiet to akli” 🧯😬

Pamatmodeļi ir spēcīgi, taču tie nav stabili kā tradicionālā programmatūra. Tie drīzāk ir kā… talantīgs praktikants ar pārliecības problēmām.

Galvenie ierobežojumi, kas jāplāno:

Halucinācijas 🌀

Modeļi var izgudrot:

  • viltoti avoti

  • nepareizi fakti

  • ticami, bet nepareizi soļi ( Ji et al., 2023 )

Mazinoši faktori:

  • RAG ar pamatotu kontekstu ( Lewis et al., 2020 )

  • ierobežotas izvades (shēmas, rīku izsaukumi)

  • skaidra instrukcija “neminēt”

  • verifikācijas slāņi (noteikumi, savstarpējās pārbaudes, cilvēka veikta pārskatīšana)

Aizspriedumi un kaitīgi modeļi ⚠️

Tā kā apmācības dati atspoguļo cilvēkus, jūs varat iegūt:

Mazinoši faktori:

Datu privātums un noplūde 🔒

Ja modeļa galapunktā ievadāt konfidenciālus datus, jums jāzina:

  • kā tas tiek uzglabāts

  • vai tas tiek izmantots apmācībai

  • kāda mežizstrāde pastāv

  • kas kontrolē jūsu organizācijas vajadzības ( NIST AI RMF 1.0 )

Mazinoši faktori:

Ātra injekcija (īpaši ar RAG) 🕳️

Ja modelis nolasa neuzticamu tekstu, šis teksts var mēģināt to manipulēt:

Mazinoši faktori:

Negribu tevi biedēt. Vienkārši… labāk zināt, kur grīdas dēļi čīkst.

12) Kā izvēlēties savam lietošanas gadījumam atbilstošu pamatmodeli 🎛️

Ja izvēlaties pamatu modeli (vai veidojat uz tā), sāciet ar šiem norādījumiem:

Definējiet, ko jūs ģenerējat 🧾

  • tikai teksts

  • attēli

  • audio

  • jaukts multimodāls

Uzstādiet savu faktuālās pārliecības latiņu 📌

Ja nepieciešama augsta precizitāte (finanšu, veselības, juridisko, drošības jomā):

  • jums būs nepieciešama RAG ( Lewis et al., 2020 )

  • jūs vēlēsities apstiprinājumu

  • jums būs nepieciešama cilvēka veikta pārskatīšana (vismaz dažreiz) ( NIST AI RMF 1.0 )

Nosakiet savu latentuma mērķi ⚡

Tērzēšana notiek nekavējoties. Datu partijas apkopošana var būt lēnāka.
Ja nepieciešama tūlītēja atbilde, modeļa lielumam un mitināšanai ir nozīme.

Kartes privātuma un atbilstības vajadzības 🔐

Dažām komandām ir nepieciešams:

Sabalansēts budžets - un operatīvā pacietība 😅

Pašmitināšana nodrošina kontroli, bet palielina sarežģītību.
Pārvaldītās API ir vienkāršas, taču var būt dārgas un mazāk pielāgojamas.

Neliels praktisks padoms: vispirms izveidojiet prototipu ar kaut ko vienkāršu, pēc tam sacietējiet. Sākot ar “ideālu” iestatījumu, parasti viss palēninās.

13) Kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi? (Ātrais mentālais modelis) 🧠✨

Atgriezīsimies pie tā. Kas ir ģeneratīvā mākslīgā intelekta pamatmodeļi?

Tie ir:

Tā nav viena vienota arhitektūra vai zīmols. Tā ir modeļu kategorija, kas darbojas kā platforma.

Pamatmodelis vairāk atgādina virtuvi, bet mazāk kalkulatoru. Tajā var pagatavot daudz ēdienu. Ja nepievērš uzmanību, var arī piededzināt grauzdiņus... taču virtuve joprojām ir diezgan ērta 🍳🔥

14) Kopsavilkums un ieteikumi ✅🙂

Pamatmodeļi ir ģeneratīvā mākslīgā intelekta atkārtoti izmantojami dzinēji. Tie tiek plaši apmācīti, pēc tam pielāgoti konkrētiem uzdevumiem, izmantojot pamudinājumus, precizēšanu un izgūšanu ( NIST , Stanford CRFM ). Tie var būt pārsteidzoši, nekārtīgi, spēcīgi un reizēm smieklīgi – viss vienlaikus.

Kopsavilkums:

Ja jūs kaut ko veidojat, izmantojot ģeneratīvo mākslīgo intelektu, pamatu modeļu izpratne nav obligāta. Tā ir visa grīda, uz kuras ēka stāv… un jā, dažreiz grīda nedaudz šūpojas 😅

Bieži uzdotie jautājumi

Pamatu modeļi, vienkārši sakot

Pamatmodelis ir liels, vispārējas nozīmes mākslīgā intelekta modelis, kas apmācīts ar plašiem datiem, lai to varētu atkārtoti izmantot daudziem uzdevumiem. Tā vietā, lai katram uzdevumam veidotu vienu modeli, jūs sākat ar spēcīgu “bāzes” modeli un pielāgojat to pēc vajadzības. Šī pielāgošana bieži notiek, izmantojot pamudinājumus, precizēšanu, izgūšanu (RAG) vai rīkus. Galvenā ideja ir plašums un vadāmība.

Kā pamatmodeļi atšķiras no tradicionālajiem uzdevumam specifiskajiem mākslīgā intelekta modeļiem

Tradicionālais mākslīgais intelekts bieži vien katram uzdevumam, piemēram, noskaņojuma analīzei vai tulkošanai, apmāca atsevišķu modeli. Pamatmodeļi apgriež šo modeli: veiciet vienreizēju iepriekšēju apmācību un pēc tam atkārtoti izmantojiet to daudzās funkcijās un produktos. Tas var samazināt dublētu darbu un paātrināt jaunu iespēju ieviešanu. Kompromiss ir tāds, ka tās var būt mazāk paredzamas nekā klasiskā programmatūra, ja vien netiek pievienoti ierobežojumi un testēšana.

Ģeneratīvā mākslīgā intelekta pamatmodeļi

Ģeneratīvajā mākslīgajā intelektā pamatmodeļi ir bāzes sistēmas, kas var radīt jaunu saturu, piemēram, tekstu, attēlus, audio, kodu vai multimodālus rezultātus. Tie neaprobežojas tikai ar marķēšanu vai klasifikāciju; tie ģenerē atbildes, kas atgādina cilvēka radītu darbu. Tā kā tie apgūst plašus modeļus iepriekšējās apmācības laikā, tie var apstrādāt daudzus uzvedņu veidus un formātus. Tie ir "pamatslānis" aiz lielākās daļas mūsdienu ģeneratīvo pieredzi.

Kā pamatmodeļi mācās pirmsapmācības laikā

Lielākā daļa valodas pamatmodeļu mācās, paredzot simbolus, piemēram, nākamo vārdu vai trūkstošos vārdus tekstā. Šis vienkāršais mērķis mudina tos internalizēt tādu struktūru kā gramatiku, stilu un izplatītus skaidrošanas modeļus. Tie var arī absorbēt daudz pasaules zināšanu, lai gan ne vienmēr uzticami. Rezultāts ir spēcīgs vispārīgs priekšstats, ko vēlāk var virzīt uz konkrētu darbu.

Atšķirība starp uzvedināšanu, precizēšanu, LoRA un RAG

Pamudināšana ir ātrākais veids, kā vadīt uzvedību, izmantojot instrukcijas, taču tā var būt nestabila. Precizējoša pielāgošana tālāk apmāca modeli jūsu piemēros, lai panāktu konsekventāku uzvedību, taču tā palielina izmaksas un uzturēšanas izmaksas. LoRA/adapteri ir vieglāka precizējoša pieeja, kas bieži vien ir lētāka un modulārāka. RAG izgūst atbilstošos dokumentus un, izmantojot šo kontekstu, iegūst modeļa atbildi, kas palīdz saglabāt svaigumu un pamatotību.

Kad izmantot RAG, nevis precīzo regulēšanu

RAG bieži vien ir laba izvēle, ja nepieciešamas atbildes, kas balstītas uz jūsu pašreizējiem dokumentiem vai iekšējo zināšanu bāzi. Tas var samazināt "minēšanu", nodrošinot modelim atbilstošu kontekstu ģenerēšanas laikā. Precizēšana ir piemērotāka izvēle, ja nepieciešams konsekvents stils, jomas frāzēšana vai uzvedība, ko pamudināšana nevar droši nodrošināt. Daudzas praktiskas sistēmas apvieno pamudināšanu un RAG, pirms ķeras pie precīzas pielāgošanas.

Kā mazināt halucinācijas un iegūt ticamākas atbildes

Izplatīta pieeja ir modeļa iezemēšana ar izgūšanas (RAG) palīdzību, lai tas paliktu tuvu sniegtajam kontekstam. Varat arī ierobežot izvades datus ar shēmām, pieprasīt rīku izsaukumus galvenajiem soļiem un pievienot skaidras instrukcijas “neminēt”. Svarīgi ir arī verifikācijas slāņi, piemēram, noteikumu pārbaudes, savstarpēja pārbaude un cilvēka veikta pārskatīšana svarīgākiem lietošanas gadījumiem. Modeli izturieties pret kā pret varbūtības palīgu, nevis kā pret patiesības avotu pēc noklusējuma.

Lielākie riski, kas saistīti ar pamatu modeļiem ražošanā

Biežāk sastopamie riski ir halucinācijas, neobjektīvi vai kaitīgi modeļi no apmācības datiem un privātuma noplūde, ja sensitīvi dati tiek nepareizi apstrādāti. Sistēmas var būt arī neaizsargātas pret tūlītēju injekciju, īpaši, ja modelis nolasa neuzticamu tekstu no dokumentiem vai tīmekļa satura. Riska mazināšanas pasākumi parasti ietver pārvaldību, sarkano komandu veidošanu, piekļuves kontroli, drošākus uzvedņu modeļus un strukturētu novērtēšanu. Plānojiet šos riskus laicīgi, nevis veiciet labojumus vēlāk.

Ātra injekcija un tās nozīme RAG sistēmās

Uzvednes injekcija notiek, kad neuzticams teksts mēģina ignorēt norādījumus, piemēram, “ignorēt iepriekšējos norādījumus” vai “atklāt noslēpumus”. RAG vidē izgūtie dokumenti var saturēt šīs ļaunprātīgās instrukcijas, un modelis var tām sekot, ja neesat uzmanīgs. Izplatīta pieeja ir izolēt sistēmas instrukcijas, attīrīt izgūto saturu un paļauties uz rīku politikām, nevis tikai uzvednēm. Testēšana ar pretinieku ievadi palīdz atklāt vājās vietas.

Kā izvēlēties pamatu modeli jūsu lietošanas gadījumam

Sāciet, definējot, kas jums jāģenerē: teksts, attēli, audio, kods vai multimodālas izejas. Pēc tam nosakiet savu faktu latiņu — augstas precizitātes jomām bieži vien ir nepieciešama iezemēšana (RAG), validācija un dažreiz arī cilvēka pārskatīšana. Apsveriet latentumu un izmaksas, jo spēcīgu modeli, kas ir lēns vai dārgs, var būt grūti piegādāt. Visbeidzot, sasaistiet privātuma un atbilstības vajadzības ar izvietošanas iespējām un vadīklām.

Atsauces

  1. Nacionālais standartu un tehnoloģiju institūts (NIST) — pamatmodelis (glosārijs) — csrc.nist.gov

  2. Nacionālais standartu un tehnoloģiju institūts (NIST) — NIST AI 600-1: Ģeneratīvā mākslīgā intelekta profils — nvlpubs.nist.gov

  3. Nacionālais standartu un tehnoloģiju institūts (NIST) — NIST AI 100-1: Mākslīgā intelekta riska pārvaldības sistēma (AI RMF 1.0) — nvlpubs.nist.gov

  4. Stenfordas pamatmodeļu pētniecības centrs (CRFM) — ziņojums — crfm.stanford.edu

  5. arXiv — par pamatu modeļu iespējām un riskiem (Bommasani et al., 2021) — arxiv.org

  6. arXiv — valodu modeļi ir reti apgūstami (Brown et al., 2020) — arxiv.org

  7. arXiv — izguves papildināta ģenerēšana zināšanu ietilpīgiem NLP uzdevumiem (Lewis et al., 2020) — arxiv.org

  8. arXiv — LoRA: Lielu valodu modeļu zema ranga adaptācija (Hu et al., 2021) — arxiv.org

  9. arXiv — BERT: Dziļo divvirzienu transformatoru iepriekšēja apmācība valodas izpratnei (Devlin et al., 2018) — arxiv.org

  10. arXiv — precīzi noregulēti valodu modeļi ir apguvēji bez nepieciešamības pēc jaunas informācijas (Wei et al., 2021) — arxiv.org

  11. ACM digitālā bibliotēka — halucināciju pārskats dabiskās valodas ģenerēšanā (Ji et al., 2023) — dl.acm.org

  12. arXiv — pārnesamu vizuālo modeļu apguve no dabiskās valodas uzraudzības (Radford et al., 2021) — arxiv.org

  13. arXiv — trokšņu slāpēšanas difūzijas varbūtības modeļi (Ho et al., 2020) — arxiv.org

  14. arXiv — augstas izšķirtspējas attēlu sintēze ar latentās difūzijas modeļiem (Rombach et al., 2021) — arxiv.org

  15. arXiv — blīvu fragmentu atgūšana atvērta domēna jautājumu atbildēšanai (Karpukhin et al., 2020) — arxiv.org

  16. arXiv — Faisas bibliotēka (Douze et al., 2024) — arxiv.org

  17. OpenAI — Iepazīstinām ar Whisper — openai.com

  18. arXiv — dabiskā TTS sintēze, kondicionējot WaveNet ar Mel spektrogrammas prognozēm (Shen et al., 2017) — arxiv.org

  19. Drošības un jauno tehnoloģiju centrs (CSET), Džordžtaunas Universitāte — Nākamā vārda paredzēšanas pārsteidzošais spēks: lielo valodu modeļu skaidrojums (1. daļa) — cset.georgetown.edu

  20. USENIX — apmācības datu ieguve no lieliem valodu modeļiem (Carlini et al., 2021) — usenix.org

  21. OWASP — LLM01: Ātra injekcija — genai.owasp.org

  22. arXiv — Vairāk nekā jūs lūdzāt: Visaptveroša jaunu tūlītējas injekcijas draudu analīze lietojumprogrammās integrētiem lielo valodu modeļiem (Greshake et al., 2023) — arxiv.org

  23. OWASP apkrāptu lapu sērija — LLM tūlītējas injekciju novēršanas apkrāptu lapa — cheatsheetseries.owasp.org

Atrodiet jaunāko mākslīgo intelektu oficiālajā mākslīgā intelekta palīgu veikalā

Par mums

Atpakaļ uz emuāru