Kad vairums cilvēku dzird vārdu “mākslīgais intelekts”, viņi iztēlojas neironu tīklus, sarežģītus algoritmus vai varbūt nedaudz neparastos humanoīdus robotus. Kas reti tiek pieminēts uzreiz, ir sekojošais: mākslīgais intelekts patērē krātuvi gandrīz tikpat rijīgi, cik tas veic aprēķinus . Un ne jau jebkura krātuves objekta krātuve klusi atrodas fonā, veicot nepievilcīgo, bet absolūti nepieciešamo darbu, apgādājot modeļus ar nepieciešamajiem datiem.
Apskatīsim, kas padara objektu glabāšanu tik svarīgu mākslīgajam intelektam, kā tā atšķiras no “vecās gvardes” glabāšanas sistēmām un kāpēc tā galu galā ir viens no galvenajiem mērogojamības un veiktspējas sviras faktoriem.
Raksti, kurus jūs varētu vēlēties izlasīt pēc šī raksta:
🔗 Kādas tehnoloģijas ir jāievieš, lai uzņēmējdarbībā izmantotu liela mēroga ģeneratīvo mākslīgo intelektu?
Galvenās tehnoloģijas, kas uzņēmumiem nepieciešamas ģeneratīvā mākslīgā intelekta efektīvai mērogošanai.
🔗 Datu pārvaldība mākslīgā intelekta rīkiem, kurus jums vajadzētu apskatīt
Labākā prakse datu apstrādē, lai optimizētu mākslīgā intelekta veiktspēju.
🔗 Mākslīgā intelekta ietekme uz biznesa stratēģiju
Kā mākslīgais intelekts ietekmē biznesa stratēģijas un ilgtermiņa lēmumu pieņemšanu.
Kas padara objektu glabāšanu tik piemērotu mākslīgajam intelektam? 🌟
Galvenā ideja: objektu glabāšana neapgrūtina sevi ar mapēm vai stingriem bloku izkārtojumiem. Tā sadala datus “objektos”, katrs no kuriem ir atzīmēts ar metadatiem. Šie metadati var būt sistēmas līmeņa dati (izmērs, laika zīmogi, glabāšanas klase) un lietotāja definētas atslēgas:vērtības birkas [1]. Iedomājieties to kā katru failu ar līmlapiņu kaudzi, kas precīzi norāda, kas tas ir, kā tas tika izveidots un kur tas iederas jūsu datu plūsmā.
Mākslīgā intelekta komandām šī elastība maina spēles noteikumus:
-
Mērogošana bez galvassāpēm — datu ezeri sniedzas petabaitos, un objektu krātuves tos viegli apstrādā. Tie ir paredzēti gandrīz neierobežotai izaugsmei un izturībai vairākās AZ zonās (Amazon S3 pēc noklusējuma lepojas ar “11 deviņiem” un starpzonu replikāciju) [2].
-
Metadatu bagātība — ātrāka meklēšana, tīrāki filtri un viedāki cauruļvadi, jo konteksts mainās līdzi katram objektam [1].
-
Mākonī bāzēts — dati tiek piegādāti, izmantojot HTTP(S), kas nozīmē, ka varat paralēlizēt pieprasījumus un nodrošināt izkliedētas apmācības nepārtrauktu darbību.
-
Iebūvēta noturība — ja trenējaties vairākas dienas, nevarat riskēt ar bojātu fragmentu, kas iznīcina 12. laikmetu. Objektu glabātuvē tas ir paredzēts izstrādei [2].
Tā būtībā ir mugursoma bez dibena: iekšpusē varbūt nekārtīgs, bet visu joprojām var paņemt, kad sniedzaties pēc tā.
Ātra salīdzināšanas tabula mākslīgā intelekta objektu glabāšanai 🗂️
| Instruments/pakalpojums | Vislabāk piemērots (auditorijai) | Cenu diapazons | Kāpēc tas darbojas (piezīmes malās) |
|---|---|---|---|
| Amazon S3 | Uzņēmumi + mākoņpakalpojumos balstītas komandas | Priekšapmaksa | Īpaši izturīgs, reģionāli noturīgs [2] |
| Google mākoņkrātuve | Datu zinātnieki un mašīnmācīšanās izstrādātāji | Elastīgi līmeņi | Spēcīgas mašīnmācīšanās integrācijas, pilnībā mākoņpakalpojumos balstītas |
| Azure Blob krātuve | Veikali, kuros dominē Microsoft | Pakāpenisks (karsts/auksts) | Nevainojami ar Azure datu un mašīnmācīšanās rīkiem |
| MinIO | Atvērtā koda/pašdarināti iestatījumi | Bezmaksas/pašizmitināšana | Saderīgs ar S3, viegls, izvietojams jebkur 🚀 |
| Vasabi karstais mākonis | Izmaksu ziņā jutīgas organizācijas | Fiksēta zema likme $ | Nav izejas vai API pieprasījuma maksas (atbilstoši politikai) [3] |
| IBM mākoņa objektu krātuve | Lieli uzņēmumi | Atšķiras | Nobriedis steks ar spēcīgām uzņēmuma drošības iespējām |
Vienmēr pārbaudiet cenu atbilstību faktiskajam lietojumam, īpaši izejošajiem datiem, pieprasījumu apjomam un krātuves klases kombinācijai.
Kāpēc mākslīgā intelekta apmācībai patīk objektu glabāšana 🧠
Apmācība nav “nedaudz failu”. Tā ir miljoniem ierakstu, kas tiek apstrādāti paralēli. Hierarhiskās failu sistēmas sabrūk lielas vienlaicīguma apstākļos. Objektu glabāšana to apiet ar plakanām vārdtelpām un tīrām API. Katram objektam ir unikāla atslēga; darbinieki izkliedējas un ielādē datus paralēli. Dalītas datu kopas + paralēla I/O = GPU paliek aizņemti, nevis gaida.
Padoms no tranšejām: turiet karstās shardus skaitļošanas klastera tuvumā (tajā pašā reģionā vai zonā) un agresīvi kešatmiņā veidojiet SSD. Ja jums ir nepieciešamas gandrīz tiešas padeves uz GPU, NVIDIA GPUDirect Storage — tā samazina CPU atlēcienu buferus, samazina latentumu un palielina joslas platumu tieši uz paātrinātājiem [4].
Metadati: Nenovērtētā superspēja 🪄
Šeit objektu glabāšanas priekšrocības izpaužas mazāk acīmredzamos veidos. Augšupielādes laikā var pievienot pielāgotus metadatus (piemēram, x-amz-meta-… S3 versijai). Piemēram, redzes datu kopa varētu attēlus atzīmēt ar lighting=low vai blur=high . Tas ļauj cauruļvadiem filtrēt, balansēt vai stratificēt, atkārtoti neskenējot neapstrādātus failus [1].
Un tad vēl ir versiju veidošana . Daudzas objektu krātuves glabā vairākas objekta versijas blakus — ideāli piemērots reproducējamiem eksperimentiem vai pārvaldības politikām, kurām nepieciešama atcelšana [5].
Objekts vs bloks vs failu glabāšana ⚔️
-
Bloku krātuve : lieliski piemērota transakciju datubāzēm — ātra un precīza, bet pārāk dārga petabaitu mēroga nestrukturētiem datiem.
-
Failu glabāšana : pazīstama, POSIX draudzīga, taču direktoriji aizsērē masveida paralēlu slodžu ietekmē.
-
Objektu krātuve : izstrādāta no pašiem pamatiem, lai nodrošinātu mērogojamību, paralēlismu un metadatu vadītu piekļuvi [1].
Ja vēlaties neveiklu metaforu: bloku krātuve ir dokumentu skapis, failu krātuve ir darbvirsmas mape, un objektu krātuve ir… bezdibenis ar līmlapiņām, kas kaut kādā veidā padara to lietojamu.
Hibrīda mākslīgā intelekta darbplūsmas 🔀
Tas ne vienmēr ir tikai mākonī. Bieži sastopams sajaukums izskatās šādi:
-
Lokāla objektu glabāšana (MinIO, Dell ECS) sensitīviem vai regulētiem datiem.
-
Mākoņobjektu krātuve straujas slodzes apjomiem, eksperimentiem vai sadarbībai.
Šis līdzsvars ietekmē izmaksas, atbilstību un elastību. Esmu redzējis komandas burtiski vienas nakts laikā izgāž terabaitus S3 konteinerā tikai tāpēc, lai aktivizētu pagaidu GPU klasteri, un pēc tam visu iznīcina, kad sprints ir beidzies. Stingrākiem budžetiem Wasabi fiksētās likmes/bez izejas modelis [3] atvieglo prognozēšanu.
Daļa, ar kuru neviens nelielās 😅
Realitātes pārbaude: tā nav nevainojama.
-
Latentums — Pārāk tālu viena no otras novietojot skaitļošanas un krātuves jaudu, jūsu grafiskie procesori (GDS) darbojas lēni. GDS palīdz, taču arhitektūrai joprojām ir nozīme [4].
-
Izmaksu pārsteigumi — lietotājiem nemanāmi rodas maksa par izejošajiem datiem un API pieprasījumiem. Daži pakalpojumu sniedzēji no tā atsakās (Wasabi to dara; citi ne) [3].
-
Metadatu haoss plašā mērogā — kurš definē “patiesību” tagos un versijās? Jums būs nepieciešami līgumi, politikas un zināma pārvaldības spēja [5].
Objektu glabāšana ir infrastruktūras santehnika: izšķiroša, bet ne glauni.
Kurp tas dodas 🚀
-
Viedāka, mākslīgā intelekta apzinoša krātuve , kas automātiski atzīmē un parāda datus, izmantojot SQL līdzīgus vaicājumu slāņus [1].
-
Ciešāka aparatūras integrācija (DMA ceļi, NIC slodzes samazināšana), lai GPU nebūtu jābaidās no I/O [4].
-
Caurspīdīga, paredzama cenu noteikšana (vienkāršoti modeļi, atceltas izejas maksas) [3].
Cilvēki runā par skaitļošanu kā par mākslīgā intelekta nākotni. Bet reāli? Šķēršļi ir tikpat lielā mērā par datu ātru ievadīšanu modeļos, neiztērējot pārāk daudz budžeta . Tāpēc objektu glabāšanas loma tikai pieaug.
Kopsavilkums 📝
Objektu glabāšana nav nekas uzkrītošs, taču tā ir pamatlieta. Bez mērogojamas, metadatus apzinošas un noturīgas glabāšanas lielu modeļu apmācība ir kā maratona skriešana sandalēs.
Tātad, jā, GPU ir svarīgi, ietvari ir svarīgi. Bet, ja jūs nopietni domājat par mākslīgo intelektu, neignorējiet to, kur atrodas jūsu dati . Visticamāk, objektu glabāšana jau nemanāmi kavē visu darbību.
Atsauces
[1] AWS S3 — objektu metadati — sistēmas un pielāgotie metadati
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – krātuves klases – izturība (“11 deviņi”) + noturība
https://aws.amazon.com/s3/storage-classes/
[3] Wasabi Hot Cloud – Cenas — fiksēta maksa, bez izejošās pieslēgvietas/API maksas
https://wasabi.com/pricing
[4] NVIDIA GPUDirect Storage — dokumentācija — DMA ceļi uz GPU
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – Versiju pārvaldība — vairākas versijas pārvaldībai/reproducējamībai
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html