Atbilde: Mākslīgais intelekts var patērēt ļoti maz elektroenerģijas vienkārša teksta uzdevuma veikšanai, bet daudz vairāk, ja uzvednes ir garas, izvades dati ir multimodāli vai sistēmas darbojas milzīgā mērogā. Apmācība parasti ir lielākais sākotnējais enerģijas patēriņš, savukārt ikdienas secinājumu izdarīšana kļūst nozīmīga, pieprasījumiem uzkrājoties.
Galvenie secinājumi:
Konteksts: Pirms jebkādas enerģijas tāmes sniegšanas definējiet uzdevumu, modeli, aparatūru un mērogu.
Apmācība: Budžeta plānošanā modeļa apmācību uztveriet kā galveno sākotnējo enerģijas patēriņa pasākumu.
Secināšana: rūpīgi sekojiet atkārtotai secinājumu veikšanai, jo nelielas izmaksas par katru pieprasījumu ātri summējas lielā mērogā.
Infrastruktūra: Jebkurā reālistiskā tāmē iekļaujiet dzesēšanas, uzglabāšanas, tīklu un dīkstāves jaudu.
Efektivitāte: Izmantojiet mazākus modeļus, īsākas uzvednes, kešatmiņu un pakešapstrādi, lai samazinātu enerģijas patēriņu.
Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:
🔗 Kā mākslīgais intelekts ietekmē vidi
Izskaidro mākslīgā intelekta oglekļa pēdas nospiedumu, enerģijas patēriņu un ilgtspējības kompromisus.
🔗 Vai mākslīgais intelekts ir kaitīgs videi?
Atklāj mākslīgā intelekta modeļu un datu centru slēptās vides izmaksas.
🔗 Vai mākslīgais intelekts ir labs vai slikts? Plusi un mīnusi
Sabalansēts skatījums uz mākslīgā intelekta ieguvumiem, riskiem, ētiku un reālo ietekmi.
🔗 Kas ir mākslīgais intelekts? Vienkāršs ceļvedis
Apgūstiet mākslīgā intelekta pamatus, galvenos terminus un ikdienas piemērus dažu minūšu laikā.
Kāpēc šis jautājums ir svarīgāks, nekā cilvēki domā 🔍
Mākslīgā intelekta enerģijas patēriņš nav tikai vides aizsardzības jautājums. Tas skar dažas ļoti reālas lietas:
-
Elektroenerģijas izmaksas — īpaši uzņēmumiem, kas veic daudz mākslīgā intelekta pieprasījumu
-
Oglekļa emisiju ietekme — atkarībā no serveru barošanas avota
-
Aparatūras slodze — jaudīgas mikroshēmas patērē ievērojamu jaudu
-
Lēmumu mērogošana — viena lēta atbilde var pārvērsties miljoniem dārgu atbildu
-
Produkta dizains — efektivitāte bieži vien ir labāka īpašība, nekā cilvēki apzinās (Google Cloud, Green AI)
Daudzi cilvēki jautā: “Cik daudz enerģijas patērē mākslīgais intelekts?”, jo viņi vēlas dramatisku skaitli. Kaut ko milzīgu. Kaut ko virsrakstiem draudzīgu. Bet labāks jautājums ir šāds: par kāda veida mākslīgā intelekta izmantošanu mēs runājam? Jo tas visu maina. (IEA)
Viens automātiskās pabeigšanas ieteikums? Diezgan mazs.
Robežmodeļa apmācība milzīgos klasteros? Daudz, daudz lielāks.
Vienmēr ieslēgta uzņēmuma mākslīgā intelekta darbplūsma, kas skar miljoniem lietotāju? Jā, tas ātri summējas... kā santīmi, kas pārvēršas īres maksājumā. (DOE, Google Cloud)
Cik daudz enerģijas patērē mākslīgais intelekts? Īsā atbilde ⚡
Lūk, praktiskā versija.
Mākslīgais intelekts var izmantot jebko, sākot no niecīgas vatstundas daļas viegliem uzdevumiem līdz milzīgam elektroenerģijas daudzumam liela mēroga apmācībai un ieviešanai. Šis diapazons izklausās komiski plašs, jo tas ir plašs. (Google Cloud, Strubell u.c.)
Vienkārši sakot:
-
Vienkārši secinājumu uzdevumi — bieži vien relatīvi pieticīgi, ņemot vērā katras lietošanas gadījumu skaitu
-
Garas sarunas, liela jauda, attēlu ģenerēšana, video ģenerēšana — ievērojami energoietilpīgāks
-
Lielu modeļu apmācība — enerģijas patēriņa smagsvara čempions
-
Mākslīgā intelekta darbināšana plašā mērogā visu dienu — kur “neliels pieprasījums” kļūst par “lielu kopējo rēķinu” (Google Cloud, DOE)
Labs īkšķa noteikums ir šāds:
-
Treniņš ir milzīgs enerģijas avots sākotnējai lietošanai 🏭
-
Secinājums ir notiekošais komunālo pakalpojumu rēķins 💡 (Strubell et al., Google Research)
Tātad, kad kāds jautā, cik daudz enerģijas patērē mākslīgais intelekts?,tiešā atbilde ir: “Nevis viens daudzums, bet pietiekami daudz, lai efektivitātei būtu nozīme, un pietiekami, lai mērogs mainītu visu stāstu.” (IEA, Zaļais mākslīgais intelekts)
Tas nav tik lipīgi, cik cilvēki vēlas, es zinu. Bet tā ir taisnība.
Kas veido labu mākslīgā intelekta enerģijas aprēķina versiju? 🧠
Labs novērtējums nav tikai dramatisks skaitlis, kas attēlots grafikā. Praktisks novērtējums ietver kontekstu. Citādi tas ir kā miglas svēršana ar vannas istabas svariem. Pietiekami tuvu, lai izklausītos iespaidīgi, bet nepietiekami tuvu, lai uzticētos. (IEA, Google Cloud)
Pienācīgam mākslīgā intelekta enerģijas novērtējumam jāietver:
-
Uzdevuma veids — teksts, attēls, audio, video, apmācība, precizēšana
-
Modeļa lielums — lielākiem modeļiem parasti ir nepieciešams lielāks skaitļošanas apjoms.
-
Izmantotā aparatūra — ne visas mikroshēmas ir vienlīdz efektīvas
-
Sesijas ilgums — īsas uzvednes un garas daudzpakāpju darbplūsmas ir ļoti atšķirīgas
-
Izmantošana — dīkstāves sistēmas joprojām patērē enerģiju
-
Dzesēšana un infrastruktūra — serveris nav viss rēķins
-
Atrašanās vieta un enerģijas sajaukums — elektroenerģija ne visur ir vienlīdz tīra (Google Cloud, IEA)
Tāpēc divi cilvēki var strīdēties par mākslīgā intelekta elektrības izmantošanu un abi izklausās pārliecināti, runājot par pilnīgi dažādām lietām. Viens cilvēks domā vienu tērzēšanas robota atbildi. Otrs domā milzīgu treniņu. Abi saka “AI”, un pēkšņi saruna novirzās no sliedēm 😅
Salīdzināšanas tabula — labākie veidi, kā novērtēt mākslīgā intelekta enerģijas patēriņu 📊
Šeit ir praktiska tabula ikvienam, kurš mēģina atbildēt uz jautājumu, nepārvēršot to par performanču mākslu.
| Rīks vai metode | Labākā auditorija | Cena | Kāpēc tas darbojas |
|---|---|---|---|
| Vienkāršs aptuvens novērtējums | Ziņkārīgie lasītāji, studenti | Bezmaksas | Ātri, vienkārši, nedaudz neskaidri, bet pietiekami labi aptuveniem salīdzinājumiem |
| Ierīces puses vatmetrs | Solo celtnieki, hobiji | Zems | Izmēra faktisko mašīnas vilkmi, kas ir atsvaidzinoši betona |
| GPU telemetrijas informācijas panelis | Inženieri, mašīnmācīšanās komandas | Vidējs | Sīkāka informācija par uzdevumiem, kas prasa lielu skaitļošanas slodzi, lai gan tā var palaist garām lielākas iekārtas pieskaitāmās izmaksas |
| Mākoņa norēķini + lietošanas žurnāli | Jaunuzņēmumi, operāciju komandas | Vidējs līdz augsts | Saista mākslīgā intelekta lietošanu ar reāliem tēriņiem — nav perfekti, bet joprojām diezgan vērtīgi |
| Datu centra enerģijas pārskatu sniegšana | Uzņēmuma komandas | Augsts | Sniedz plašāku darbības pārredzamību, šeit sāk parādīties dzesēšana un infrastruktūra |
| Pilna dzīves cikla novērtējums | Ilgtspējības komandas, lielas organizācijas | Augsts, dažreiz sāpīgs | Vislabāk piemērota nopietnai analīzei, jo tā sniedzas tālāk par pašu mikroshēmu... bet tā ir lēna un diezgan agresīva |
Nav ideālas metodes. Tā ir nedaudz nomācošā daļa. Taču pastāv vērtības līmeņi. Un parasti kaut kas derīgs ir labāks par perfektu. (Google Cloud)
Lielākais faktors nav maģija — tā ir skaitļošanas jauda un aparatūra 🖥️🔥
Kad cilvēki iztēlojas mākslīgā intelekta enerģijas patēriņu, viņi bieži iztēlojas pašu modeli kā lietu, kas patērē enerģiju. Taču modelis ir programmatūras loģika, kas darbojas uz aparatūras. Aparatūra ir vieta, kur parādās elektrības rēķins. (Strubell et al., Google Cloud)
Lielākie mainīgie parasti ietver:
-
GPU vai paātrinātāja tips
-
Cik daudz mikroshēmu tiek izmantotas
-
Cik ilgi viņi paliek aktīvi
-
Atmiņas slodze
-
Partijas lielums un caurlaidspēja
-
Vai sistēma ir labi optimizēta vai vienkārši visu brutāli uzspiež (Google Cloud, kvantifikācijas, partiju apstrādes un apkalpošanas stratēģijas LLM enerģijas izmantošanā)
Augsti optimizēta sistēma var paveikt vairāk darba ar mazāku enerģijas patēriņu. Neuzmanīga sistēma var izšķērdēt elektrību ar elpu aizraujošu pārliecību. Jūs zināt, kā tas ir - daži iestatījumi ir sacīkšu automašīnas, daži ir iepirkumu ratiņi ar ar līmlenti pielīmētām raķetēm 🚀🛒
Un jā, modeļa izmēram ir nozīme. Lielākiem modeļiem parasti ir nepieciešama lielāka atmiņa un vairāk aprēķinu, īpaši, ģenerējot garus rezultātus vai apstrādājot sarežģītu spriešanu. Taču efektivitātes triki var mainīt situāciju: (zaļā mākslīgā intelekta, kvantizācijas, partiju apstrādes un apkalpošanas stratēģijas LLM enerģijas izmantošanā)
-
kvantizācija
-
labāka maršrutēšana
-
mazāki specializēti modeļi
-
kešatmiņā
-
partiju veidošana
-
viedāka aparatūras plānošana (kvantizācijas, partiju apstrādes un apkalpošanas stratēģijas LLM enerģijas izmantošanā)
Tātad jautājums nav tikai "Cik liels ir modelis?", bet arī "Cik inteliģenti tas tiek vadīts?"
Apmācība pret secinājumiem — tie ir dažādi dzīvnieki 🐘🐇
Šis ir sadalījums, kas mulsina gandrīz visus.
Apmācība
Apmācība ir tad, kad modelis apgūst modeļus no milzīgām datu kopām. Tas var ietvert daudzu mikroshēmu darbību ilgstoši, apstrādājot milzīgus datu apjomus. Šis posms ir enerģijas ziņā ietilpīgs. Dažreiz pat ārkārtīgi. (Strubell et al.)
Treniņu enerģija ir atkarīga no:
-
modeļa izmērs
-
datu kopas lielums
-
treniņu braucienu skaits
-
neveiksmīgi eksperimenti
-
precizējošas piespēles
-
aparatūras efektivitāte
-
dzesēšanas izmaksas (Strubell et al., Google Research)
Un te nu ir daļa, ko cilvēki bieži vien nepamana — sabiedrība bieži iztēlojas vienu lielu treniņu, kas veikts vienreiz, un viss. Praksē izstrāde var ietvert atkārtotus treniņus, regulēšanu, pārapmācību, novērtēšanu un visas prozaiskās, bet dārgās iterācijas, kas saistītas ar galveno notikumu. (Strubell et al., Green AI)
Secinājums
Secināšana ir modelis, kas atbild uz faktiskajiem lietotāju pieprasījumiem. Viens pieprasījums var nešķist nekas īpašs. Taču secinājumi tiek veikti atkal un atkal. Miljoniem reižu. Dažreiz miljardiem reižu. (Google Research, DOE)
Secinājumu enerģija pieaug līdz ar:
-
uzvednes garums
-
izejas garums
-
lietotāju skaits
-
latentuma prasības
-
multimodālas funkcijas
-
darbspējas laika prognozes
-
drošības un pēcapstrādes soļi (Google Cloud, kvantifikācijas, partiju veidošanas un apkalpošanas stratēģijas LLM enerģijas izmantošanā)
Tātad apmācība ir zemestrīce. Secinājumi ir paisums. Viens ir dramatisks, otrs ir noturīgs, un abi var nedaudz pārveidot krastu. Tā varbūt ir neparasta metafora, bet tā saturas kopā... vairāk vai mazāk.
Slēptās enerģijas izmaksas, par kurām cilvēki aizmirst 😬
Kad kāds novērtē mākslīgā intelekta enerģijas patēriņu, aplūkojot tikai mikroshēmu, viņš parasti nepietiekami novērtē. Ne vienmēr katastrofāli, bet pietiekami, lai tam būtu nozīme. (Google Cloud, IEA)
Šeit ir paslēptās daļas:
Vēsinoša ❄️
Serveri rada siltumu. Jaudīga mākslīgā intelekta aparatūra rada daudz siltuma. Dzesēšana nav izvēles iespēja. Katrs skaitļošanas procesā patērētais vats parasti veicina lielāku enerģijas patēriņu, lai uzturētu normālu temperatūru. (IEA, Google Cloud)
Datu kustība 🌐
Datu pārvietošana starp krātuvi, atmiņu un tīkliem arī patērē enerģiju. Mākslīgais intelekts ne tikai "domā". Tas arī pastāvīgi pārvietojas ar informāciju. (IEA)
Tukšgaitas jauda 💤
Sistēmas, kas izveidotas maksimālajam pieprasījumam, ne vienmēr darbojas maksimālā pieprasījuma apstākļos. Dīkstāvē esoša vai nepietiekami izmantota infrastruktūra joprojām patērē elektroenerģiju. (Google Cloud)
Redundance un uzticamība 🧱
Rezerves kopijas, rezerves kopēšanas sistēmas, dublētie reģioni, drošības slāņi — tas viss ir vērtīgs, viss ir daļa no plašākas enerģijas ainas. (IEA)
Uzglabāšana 📦
Apmācības dati, iegulšana, žurnāli, kontrolpunkti, ģenerētās izejas — tas viss kaut kur atrodas. Krātuve, protams, ir lētāka nekā skaitļošanas izmaksas, taču enerģijas ziņā tā nav bezmaksas. (IEA)
Tāpēc jautājumu par to, cik daudz enerģijas patērē mākslīgais intelekts, nevar precīzi atbildēt, aplūkojot vienu etalondiagrammu. Svarīgs ir viss datu kopums. (Google Cloud, IEA)
Kāpēc viena mākslīgā intelekta uzvedne var būt niecīga, bet nākamā var būt briesmonis 📝➡️🎬
Ne visas uzvednes ir vienādas. Īss pieprasījums pārrakstīt teikumu nav salīdzināms ar pieprasījumu pēc garas analīzes, daudzpakāpju kodēšanas sesijas vai augstas izšķirtspējas attēla ģenerēšanas. (Google Cloud)
Lietas, kas parasti palielina enerģijas patēriņu vienā mijiedarbībā:
-
Ilgāki konteksta logi
-
Garākas atbildes
-
Instrumentu lietošanas un atgūšanas soļi
-
Vairākas reizes spriešanas vai validācijas pārbaudei
-
Attēlu, audio vai video ģenerēšana
-
Augstāka vienlaicība
-
Zemāka latentuma mērķi (Google Cloud, kvantizācijas, partiju apstrādes un apkalpošanas stratēģijas LLM enerģijas izmantošanā)
Viegla teksta atbilde varētu būt relatīvi lēta. Milzīga multimodāla darbplūsma var nebūt lēta. Tas ir mazliet līdzīgi kā kafijas pasūtīšana pretstatā kāzu ēdināšanai. Tehniski abi tiek uzskatīti par "ēdināšanas pakalpojumiem". Viens nav vienāds ar otru ☕🎉
Tas ir īpaši svarīgi produktu komandām. Funkcija, kas šķiet nekaitīga nelielā lietošanas apjomā, var kļūt dārga plašākā mērogā, ja katra lietotāja sesija kļūst garāka, bagātāka un ar lielāku skaitļošanas slodzi. (DOE, Google Cloud)
Patērētāju mākslīgais intelekts un uzņēmumu mākslīgais intelekts nav viens un tas pats 🏢📱
Vidusmēra cilvēks, kurš ikdienišķi izmanto mākslīgo intelektu, varētu uzskatīt, ka viņa neregulārie uzvedumi ir galvenā problēma. Parasti par to nav runa. (Google Cloud)
Uzņēmuma lietojums maina matemātiku:
-
tūkstošiem darbinieku
-
vienmēr ieslēgti otrpiloti
-
automatizēta dokumentu apstrāde
-
zvanu kopsavilkums
-
attēlu analīze
-
koda pārskatīšanas rīki
-
fona aģenti darbojas nepārtraukti
Tieši šeit kopējā enerģijas izmantošana sāk kļūt tik svarīga. Ne tāpēc, ka katra darbība ir apokaliptiska, bet gan tāpēc, ka atkārtošanās ir reizinātājs. (DOE, IEA)
Manos testēšanas un darbplūsmas pārskatos cilvēki šeit ir pārsteigti. Viņi koncentrējas uz modeļa nosaukumu vai krāšņo demonstrāciju un ignorē apjomu. Apjoms bieži vien ir īstais virzītājspēks — vai arī glābiņš, atkarībā no tā, vai izrakstāt rēķinus klientiem vai maksājat par komunālajiem pakalpojumiem 😅
Patērētājiem ietekme var šķist abstrakta. Uzņēmumiem tā ļoti ātri kļūst konkrēta:
-
lielāki infrastruktūras rēķini
-
lielāks spiediens uz optimizāciju
-
lielāka vajadzība pēc mazākiem modeļiem, kur tas ir iespējams
-
iekšējā ilgtspējības ziņošana
-
lielāka uzmanība kešatmiņai un maršrutēšanai (Google Cloud, Green AI)
Kā samazināt mākslīgā intelekta enerģijas patēriņu, neatsakoties no mākslīgā intelekta 🌱
Šī daļa ir svarīga, jo mērķis nav "pārtraukt lietot mākslīgo intelektu". Parasti tas nav reāli un pat nav nepieciešams. Labāka izmantošana ir gudrāks ceļš.
Šeit ir lielākie sviras:
1. Izmantojiet mazāko modeli, kas paveic darbu
Ne katram uzdevumam ir nepieciešama smagākā opcija. Vieglāks klasifikācijas vai apkopošanas modelis var ātri samazināt atkritumus. (Zaļais mākslīgais intelekts, Google Cloud)
2. Saīsiniet uzvednes un rezultātus
Daudzvārdīgs ievads, daudzvārdīgs ārā. Papildu žetoni nozīmē papildu aprēķinus. Dažreiz uzvednes saīsināšana ir vieglākais ieguvums. (Kvantēšanas, partiju veidošanas un apkalpošanas stratēģijas LLM enerģijas izmantošanā, Google Cloud)
3. Kešatmiņā saglabājiet atkārtotus rezultātus
Ja viens un tas pats vaicājums parādās atkārtoti, neģenerējiet to katru reizi atkārtoti. Tas ir gandrīz acīmredzami, tomēr tas bieži tiek palaists garām. (Google Cloud)
4. Ja iespējams, veiciet partijveida darbus
Uzdevumu izpilde partijās var uzlabot izmantošanu un samazināt atkritumus. (Kvantizācijas, partiju veidošanas un apkalpošanas stratēģijas LLM enerģijas izmantošanā)
5. Uzdevumu maršrutēšana inteliģenti
Izmantojiet lielus modeļus tikai tad, ja samazinās pārliecība vai palielinās uzdevuma sarežģītība. (Zaļais mākslīgais intelekts, Google Cloud)
6. Optimizējiet infrastruktūru
Labāka plānošana, labāka aparatūra, labāka dzesēšanas stratēģija — vienkāršas lietas, milzīgs ieguvums. (Google Cloud, DOE)
7. Pirms pieņemat lēmumu, izmēriet
Daudzas komandas domā, ka zina, kur nonāk enerģija. Tad viņi veic mērījumus, un lūk, tā ir — dārgā daļa atrodas kaut kur citur. (Google Cloud)
Efektivitātes darbs nav glaimojošs. Tas reti kad saņem aplausus. Taču tas ir viens no labākajiem veidiem, kā padarīt mākslīgo intelektu pieejamāku un labāk aizsargājamu plašākā mērogā 👍
Izplatīti mīti par mākslīgā intelekta elektrības izmantošanu 🚫
Atklāsim dažus mītus, jo šī tēma ātri sapinās.
Mīts Nr. 1. Katrs mākslīgā intelekta vaicājums ir ārkārtīgi nelietderīgs
Ne obligāti. Daži ir pieticīgi. Mērogs un uzdevuma veids ir ļoti svarīgi. (Google Cloud)
Mīts Nr. 2 — vienīgā svarīgā lieta ir apmācība
Nē. Secinājumi var dominēt laika gaitā, ja lietojums ir milzīgs. (Google Research, DOE)
Mīts Nr. 3 — lielāks modelis vienmēr nozīmē labāku rezultātu
Dažreiz jā, dažreiz absolūti nē. Daudzi uzdevumi lieliski tiek galā ar mazākām sistēmām. (Zaļais mākslīgais intelekts)
Mīts Nr. 4. Enerģijas patēriņš automātiski nozīmē ietekmi uz oglekļa dioksīda emisijām
Ne gluži. Oglekļa emisijas ir atkarīgas arī no enerģijas avota. (IEA, Strubell et al.)
Mīts Nr. 5 — jūs varat iegūt vienu universālu skaitli mākslīgā intelekta enerģijas patēriņam
Tu nevari, vismaz ne tādā formā, kas saglabātu jēgpilnību. Vai arī tu vari, bet tas būs tik ļoti viduvēji izteikts, ka tas pārstās būt vērtīgs. (IEA)
Tāpēc jautājums " Cik daudz enerģijas patērē mākslīgais intelekts?" ir gudrs, taču tikai tad, ja esat gatavs atbildei, kas ir daudzslāņaina, nevis saukļa veidā.
Tātad... cik daudz enerģijas patiesībā patērē mākslīgais intelekts? 🤔
Lūk, pamatots secinājums.
Mākslīgais intelekts izmanto:
-
nedaudz, dažiem vienkāršiem uzdevumiem
-
daudz vairāk, intensīvai multimodālai paaudzei
-
ļoti liels daudzumsliela mēroga modeļu apmācībai
-
milzīgs kopējais apjoms, kad laika gaitā uzkrājas miljoniem pieprasījumu (Google Cloud, DOE)
Tāda ir tā forma.
Galvenais ir nevis saplacināt visu problēmu vienā biedējošā skaitlī vai vienā noraidošā plecu paraustīšanā. Mākslīgā intelekta enerģijas patēriņš ir reāls. Tam ir nozīme. To var uzlabot. Un labākais veids, kā par to runāt, ir kontekstā, nevis teatrāli. (IEA, Zaļais mākslīgais intelekts)
Liela daļa publisko diskusiju svārstās starp galējībām – vienā pusē ir “mākslīgais intelekts būtībā ir bezmaksas”, otrā pusē – “mākslīgais intelekts ir elektriskā apokalipse”. Realitāte ir ikdienišķāka, kas padara to informatīvāku. Tā ir sistēmas problēma. Aparatūra, programmatūra, lietojums, mērogs, dzesēšana, dizaina izvēles. Prozaiski? Nedaudz. Svarīgi? Ļoti. (IEA, Google Cloud)
Svarīgākie secinājumi ⚡🧾
Ja jūs šeit jautājat: Cik daudz enerģijas patērē mākslīgais intelekts?,lūk, secinājums:
-
Nav viena universāla skaitļa
-
Treniņi parasti patērē visvairāk enerģijas sākumā
-
Secinājumi kļūst par galveno faktoru mērogā
-
Modeļa izmēram, aparatūrai, darba slodzei un dzesēšanai ir nozīme
-
Nelielas optimizācijas var radīt pārsteidzoši lielu atšķirību
-
Gudrākais jautājums nav tikai “cik daudz”, bet arī “kuram uzdevumam, kādā sistēmā, kādā mērogā?” (IEA, Google Cloud)
Tātad, jā, mākslīgais intelekts patērē īstu enerģiju. Pietiekami daudz, lai pelnītu uzmanību. Pietiekami, lai attaisnotu labāku inženieriju. Bet ne karikatūriskā, viena skaitļa veidā.
Reālās pasaules piemērs: AI atbalsta asistenta enerģijas izmaksu mērīšana
Scenārijs
Iedomājieties nelielu SaaS uzņēmumu, kas izmanto mākslīgā intelekta palīgu, lai sagatavotu atbildes uz klientu atbalsta pieprasījumiem. Šis ir izdomāts, bet reālistisks piemērs, nevis uzņēmuma gadījuma izpēte.
Komanda katru nedēļu apstrādā aptuveni 500 atbalsta pieprasījumus. Lielākā daļa no tiem ir vienkārši: paroles atiestatīšana, jautājumi par norēķiniem, funkciju skaidrojumi un pamata problēmu novēršana. Uzņēmums nevēlas, lai asistents automātiski sūtītu atbildes. Tas sagatavo atbilžu melnrakstus, kurus pārskatīs atbalsta dienesta darbinieks.
Enerģijas jautājums nav "Cik daudz mākslīgais intelekts kopumā patērē?". Tas ir praktiskāks:
"Cik daudz papildu skaitļošanas jaudas mēs radām, pievienojot šai darbplūsmai mākslīgo intelektu, un vai mēs to varam samazināt, nezaudējot kvalitāti?"
Kas asistentam ir nepieciešams
Komanda sāktu ar:
Skaidra palīdzības centra zināšanu bāze
Apstiprināto atmaksas, privātuma un eskalācijas noteikumu saraksts
20–30 spēcīgu iepriekšējo atbalsta atbilžu piemēri
Skaidrs norādījums, kas asistentam ir jāizstrādā, nevis jānosūta
Mākoņa lietošanas žurnāli vai modeļa API lietošanas žurnāli
Vienkārša izklājlapa, lai izsekotu pieteikuma veidu, uzvednes garumu, izvades garumu, pārskatīšanas laiku un to, vai atbilde tika pieņemta
Svarīgākais ir mērījums. Bez žurnāliem komanda var tikai minēt.
Instrukcijas piemērs
Jūs esat SaaS produkta atbalsta dienesta dokumentu izstrādes asistents. Izmantojiet tikai apstiprināto palīdzības centra saturu un sniegtās politikas piezīmes. Sagatavojiet skaidru un pieklājīgu atbildi, kas nepārsniedz 180 vārdus. Ja klients pieprasa atmaksu, konta dzēšanu, juridisku konsultāciju, drošības informāciju vai jebko citu, kas nav ietverts dokumentos, neatbildiet tieši. Atzīmējiet to, lai cilvēks to pārskatītu, un paskaidrojiet, kādas informācijas trūkst.
Pirms atbildes rakstīšanas klasificējiet pieprasījumu kā: vienkāršu, ar politiku saistītu, tehnisku vai ar nepieciešamību pēc eskalācijas.
Kā to pārbaudīt
Komanda varēja pārbaudīt palīgu ar 50 iepriekšējām biļetēm, pirms to izmantot tiešsaistē.
Vienkāršs testu komplekts var ietvert:
10 paroles vai pieteikšanās biļetes
10 norēķinu kvītis
10 tehnisko problēmu novēršanas biļetes
10 neskaidri vai nepilnīgi klientu ziņojumi
10 ar politiku saistītas sūdzības, kas saistītas ar atmaksu, privātuma pārkāpumiem vai konta slēgšanu
Katrai biļetei komandai jāpieraksta:
Vai melnraksts bija faktiski pareizs?
Vai tajā tika izmantota tikai apstiprināta informācija?
Vai tas nepārsniedza vārdu skaita ierobežojumu?
Vai tas pareizi atzīmēja sensitīvus gadījumus?
Cik ilgu laiku cilvēka aģents pavadīja tā rediģēšanā?
Cik žetonu vai pieprasījumu darbplūsma izmantoja?
Tas dod komandai kaut ko konkrētu, ar ko salīdzināt, nevis paļauties uz nojautām.
Rezultāts
Ilustratīvs rezultāts: Pamatojoties uz 50 paraugu biļešu laika noteikšanu pirms un pēc darbplūsmas izmantošanas, komanda lēš, ka vidējais pirmās melnraksta laiks samazinās no 6 minūtēm uz vienu biļeti līdz 2 minūtēm uz vienu biļeti.
500 biļetēm nedēļā tas ietaupa aptuveni 2000 minūtes jeb aptuveni 33 stundas sagatavošanas laika.
Taču žurnāli rāda arī kaut ko vērtīgu: 38% pieprasījumu ir vienkārši atkārtoti. Kešatmiņā saglabājot apstiprinātas atbildes uz šiem atkārtotajiem jautājumiem, nevis atkārtoti ģenerējot katru melnrakstu no jauna, komanda samazina mākslīgā intelekta pieprasījumu skaitu no 500 nedēļā līdz 310 nedēļā.
Tas ir par 38 % mazāks iknedēļas secinājumu izsaukumu skaits šai darbplūsmai, nenoņemot mākslīgā intelekta funkciju.
Komanda to var pārbaudīt, salīdzinot:
Kopējais nedēļas mākslīgā intelekta pieprasījumu skaits pirms un pēc kešatmiņas saglabāšanas
Vidējais uzvednes un izvades garums
Cilvēku pieņemšanas līmenis
Pareizi pieķerto eskalāciju skaits
Atbalsta kvalitātes rādītājus vai pārskatīšanas skaitu
Precīzs elektroenerģijas ietaupījums joprojām būtu atkarīgs no modeļa, aparatūras, pakalpojumu sniedzēja un infrastruktūras. Taču pats darba slodzes samazinājums ir izmērāms.
Kas var noiet greizi
Asistents var sniegt pārāk daudz atbildes uz politikas jautājumiem, ja eskalācijas noteikumi ir neskaidri.
Gari palīdzības centra dokumenti var palielināt uzvednes garumu, ja izguves iestatījumi ir slikti strukturēti.
Aģenti var pārāk ātri uzticēties plūstošiem melnrakstiem un nepamanīt smalkas kļūdas.
Kešatmiņā saglabāšana var kļūt riskanta, ja apritē joprojām ir vecas atmaksas, cenu vai privātuma politikas.
Komanda var optimizēt darbību, lai iegūtu mazāk žetonu, vienlaikus nejauši radot mazāk noderīgas atbildes.
Drošākā versija nodrošina cilvēkiem nepārtrauktu informētību, mēra pieņemtās atbildes un pārskata kešatmiņā saglabātās atbildes ikreiz, kad mainās politikas.
Praktiska līdzņemšana
Pamatots mākslīgā intelekta enerģijas patēriņa novērtējums sākas ar konkrētu darbplūsmu. Saskaitiet pieprasījumus, saīsiniet uzdevumus, saglabājiet atkārtotās atbildes kešatmiņā un izmēriet atsauksmju kvalitāti. Tas pārvērš jautājumu "Cik daudz enerģijas patērē mākslīgais intelekts?" no neskaidras debates par praktisku inženiertehnisku jautājumu ar skaitļiem, ko komanda var uzlabot praksē.
Bieži uzdotie jautājumi
Cik daudz enerģijas mākslīgais intelekts patērē vienai uzvednei?
Nav universāla skaitļa vienai uzvednei, jo enerģijas patēriņš ir atkarīgs no modeļa, aparatūras, uzvednes garuma, izvades garuma un jebkāda papildu rīka izmantošanas. Īsa teksta atbilde var būt relatīvi pieticīga, savukārt garš multimodāls uzdevums var patērēt ievērojami vairāk. Visjēdzīgākā atbilde nav viens virsraksta skaitlis, bet gan konteksts, kas aptver uzdevumu.
Kāpēc mākslīgā intelekta enerģijas patēriņa aplēses tik ļoti atšķiras?
Aplēses atšķiras, jo cilvēki bieži salīdzina ļoti dažādas lietas zem viena apzīmējuma — mākslīgais intelekts. Viens novērtējums var aprakstīt vieglu tērzēšanas robota atbildi, bet cits — attēlu ģenerēšanu, video vai liela mēroga modeļa apmācību. Lai novērtējums būtu jēgpilns, tam ir nepieciešams konteksts, piemēram, uzdevuma veids, modeļa lielums, aparatūra, noslodze, dzesēšana un atrašanās vieta.
Vai mākslīgā intelekta apmācība vai ikdienas darbināšana rada lielākas enerģijas izmaksas?
Apmācība parasti ir lielais sākotnējais enerģijas notikums, jo tā var ietvert daudzu mikroshēmu darbību ilgstoši milzīgos datu kopumos. Secināšana ir pastāvīgās izmaksas, kas rodas katru reizi, kad lietotāji sūta pieprasījumus, un lielā mērogā tās var kļūt ļoti lielas. Praksē abi ir svarīgi, lai gan tie ir svarīgi dažādos veidos.
Kas padara vienu mākslīgā intelekta pieprasījumu daudz energoietilpīgāku nekā citu?
Garāki konteksta logi, garākas izvades, atkārtotas spriešanas reizes, rīku izsaukumi, izguves soļi un multimodāla ģenerēšana parasti palielina enerģijas patēriņu katrā mijiedarbībā. Svarīgi ir arī latentuma mērķi, jo ātrākas atbildes prasības var samazināt efektivitāti. Neliels pārrakstīšanas pieprasījums un ilga kodēšanas vai attēlu darbplūsma vienkārši nav salīdzināmi.
Kādas slēptās enerģijas izmaksas cilvēki nepamana, jautājot, cik daudz enerģijas patērē mākslīgais intelekts?
Daudzi cilvēki koncentrējas tikai uz mikroshēmu, bet ignorē dzesēšanu, datu pārvietošanu, krātuvi, dīkstāves jaudu un uzticamības sistēmas, piemēram, dublējumkopijas vai rezerves kopiju reģionus. Šie atbalsta slāņi var būtiski mainīt kopējo nospiedumu. Tāpēc etalons pats par sevi reti sniedz pilnīgu priekšstatu par enerģijas patēriņu.
Vai lielāks mākslīgā intelekta modelis vienmēr patērē vairāk enerģijas?
Lielākiem modeļiem parasti ir nepieciešama lielāka skaitļošanas jauda un atmiņa, īpaši gariem vai sarežģītiem rezultātiem, tāpēc tie bieži patērē vairāk enerģijas. Taču lielāks ne vienmēr nozīmē labāku rezultātu katram darbam, un optimizācija var ievērojami mainīt situāciju. Mazāki specializēti modeļi, kvantizācija, partijveida apstrāde, kešatmiņa un viedāka maršrutēšana var uzlabot efektivitāti.
Vai patērētāju mākslīgā intelekta patēriņš ir galvenā enerģijas problēma, vai arī uzņēmumu mākslīgais intelekts ir lielāka problēma?
Neregulāra lietošana patērētājiem var summēties, taču plašāks enerģijas patēriņš bieži vien parādās uzņēmumu izvietojumos. Vienmēr ieslēgti koppiloti, dokumentu apstrāde, zvanu apkopošana, koda pārskatīšana un fona aģenti rada atkārtotu pieprasījumu lielās lietotāju bāzēs. Problēma parasti nav tik daudz par vienu dramatisku darbību, bet gan par ilgstošu apjomu laika gaitā.
Cik daudz enerģijas patērē mākslīgais intelekts, ja ieskaita datu centrus un dzesēšanu?
Kad tiek iekļauta plašāka sistēma, atbilde kļūst reālistiskāka un parasti ir lielāka, nekā liecina tikai mikroshēmu aprēķini. Datu centriem jauda ir nepieciešama ne tikai skaitļošanai, bet arī dzesēšanai, tīklošanai, datu glabāšanai un rezerves jaudas uzturēšanai. Tāpēc infrastruktūras projektēšana un iekārtu efektivitāte ir gandrīz tikpat svarīga kā modeļa projektēšana.
Kāds ir vispraktiskākais veids, kā izmērīt mākslīgā intelekta enerģijas patēriņu reālā darbplūsmā?
Labākā metode ir atkarīga no tā, kas veic mērījumus un kādam nolūkam. Aptuvens īkšķa noteikums var palīdzēt veikt ātru salīdzināšanu, savukārt vatmetri, GPU telemetrija, mākoņa norēķinu žurnāli un datu centru pārskati sniedz arvien labāku ieskatu darbībā. Nopietnam ilgtspējības darbam pilnīgāks dzīves cikla pārskats ir vēl spēcīgāks, lai gan tas ir lēnāks un prasīgāks.
Kā komandas var samazināt mākslīgā intelekta enerģijas patēriņu, neatsakoties noderīgām mākslīgā intelekta funkcijām?
Vislielākos ieguvumus parasti gūst, izmantojot mazāko modeli, kas joprojām veic darbu, saīsinot uzvednes un izvades, saglabājot atkārtotus rezultātus kešatmiņā, grupējot darbu partijās un novirzot tikai sarežģītākus uzdevumus uz lielākiem modeļiem. Svarīga ir arī infrastruktūras optimizācija, īpaši plānošana un aparatūras efektivitāte. Daudzos cauruļvados vispirms mērīšana palīdz novērst komandu nepareizu lietu optimizāciju.
Atsauces
-
Starptautiskā Enerģētikas aģentūra (IEA) — Mākslīgā intelekta radītais enerģijas pieprasījums — iea.org
-
ASV Enerģētikas departaments (DOE) — DOE publicē jaunu ziņojumu, kurā novērtēts datu centru elektroenerģijas pieprasījuma pieaugums — energy.gov
-
Google Cloud — Mākslīgā intelekta secinājumu ietekmes uz vidi mērīšana — cloud.google.com
-
Google Research — Labas ziņas par mašīnmācīšanās apmācības oglekļa pēdas nospiedumu — research.google
-
Google Research — Mašīnmācīšanās apmācības oglekļa pēdas nospiedums izlīdzināsies un pēc tam samazināsies — research.google
-
arXiv — Zaļais mākslīgais intelekts — arxiv.org
-
arXiv — Strubell et al. - arxiv.org
-
arXiv — kvantizācijas, partiju veidošanas un apkalpošanas stratēģijas LLM enerģijas izmantošanā — arxiv.org