Izmantojot aģentu mākslīgo intelektu (AI), mēs varētu saskarties ar lielāko tehnoloģiju atsvaidzināšanas notikumu vēsturē, kur katra organizācija varētu izvietot līdz 2000 aģentiem uz vienu darbinieku.
Un, lai apmierinātu šo vajadzību, tiks ietekmēta visa IT infrastruktūra un īpaši uzglabāšana.
Tie ir Džefa Denvorta, plašo datu līdzdibinātāja, uzskati, kurš runā šajā aplādes laikā par aģentu AI infrastruktūras izaicinājumiem IT departamentiem, izaicinājumiem, lai glabātu aģenta AIun kā klienti var sākt risināt šos izaicinājumus visā viņu datu centros un mākonī.
Tas ietver ļoti uzmanīgu, lai skaidri precizētu un nodrošinātu infrastruktūru, vienlaikus nepārbaudot, kā arī nodrošinot darbu un aprēķināt darbu ar lietojumprogrammu arhitektūru un datu bāzes komandām.
Kādas papildu problēmas rada aģenta AI IT infrastruktūrai?
Tas ir ļoti plašs jautājums. Bet, lai sāktu, es domāju, ka ir svarīgi norādīt, ka tas dažos aspektos ir pilnīgi jauns biznesa loģikas veids un jauns skaitļošanas veids.
Un tā, pirmais jautājums kļūst, ja aģentu sistēmas ir argumentācijas modeļi apvienojumā ar aģentiem, kas veic uzdevumus, izmantojot spriešanas modeļus, kā arī dažādus rīkus, kas viņiem ir piešķirti, lai palīdzētu viņiem izpildīt savus uzdevumus … Šiem modeļiem ir jāizmanto ļoti augstas veiktspējas tehnika.
Šodienas AI infrastruktūra bieži darbojas vislabāk GPU [graphics processing units] un cita veida AI akseleratori. Un tā, pirmais jautājums kļūst, kā jūs sagatavojat aprēķināšanas infrastruktūru šai jaunajai skaitļošanas formai?
Un šeit klienti runā par AI rūpnīcu un lupatu izvietošanu [retrieval augmented generation]un AI aģenta izvietošana mēdz būt sākotnējā lietošanas lieta, par kuru cilvēki domā, kad viņi sāk izvietot šīs AI rūpnīcas.
Tās ir cieši savienotas sistēmas, kurām nepieciešami ātri tīkli, kas ir savstarpēji savienoti ļoti, ļoti ātri AI procesori un GPU, un pēc tam tos savieno ar dažādām datu krātuvēm un glabāšanas resursiem, ar kuriem jūs varētu vēlēties doties un pabarot šos aģentus.
Interesanta lieta par aģentu infrastruktūru ir tā, ka aģenti galu galā var strādāt vairākās dažādās datu kopās un pat dažādās jomās. Jums ir divu veidu aģenti – darbinieki un citi aģenti, kas ir uzraugi vai uzraudzības aģenti.
Tāpēc varbūt es vēlos darīt kaut ko vienkāršu, piemēram, izstrādāt sava produkta pārdošanas prognozi, pārskatot visas klientu sarunas un dažādās datu bāzes vai datu kopas, kas varētu informēt manu prognozi.
Tas mani aizvedīs uz aģentiem, kas strādā un apstrādā vairākas dažādas neatkarīgas datu kopas, kuras, iespējams, pat nav manā datu centrā. Lielisks piemērs ir, ja vēlaties, lai kaut kas tiktu un apstrādātu datus Salesforce, uzraudzības aģents var izmantot aģentu, kas ir izvietots vietnē Salesforce.com, lai dotos un sakārtotu to biznesa sistēmas daļu, kurā tā vēlas apstrādāt datus.
Tātad, pirmais jautājums kļūst, kā jūs definējat šo cauruļvadu? Kā jūs izvēlaties visus dažādos datu avotus, uz kuriem jūs varētu vēlēties apstrādāt? Kā jūs izmērāt to, kas, jūsuprāt, ir sava veida nominālā darbības slodze, lai jums būtu pietiekami daudz aprēķināšanas resursu līdzsvara stāvoklim?
Ir tik daudz dažādu lēmumu pieņemšanas aspektu, kas spēlē, kad cilvēki domā, ka vēlas sākt izvietot aģentu darba slodzi
Džefs Denvorts, plašie dati
Un pēc tam aprēķinātajā diskusijā tiek ņemts vērā datu centra un enerģijas infrastruktūras gatavības ceļš, kas ir pavisam cita tējkanna, jo dažas no šīm jaunajām sistēmām – piemēram, GB200 un L72 sistēmas no Nvidia – ir ļoti cieši saistītas GPU plaukti, kuriem ir ļoti ātri tīkli starp tiem. Tie prasa kaut ko līdzīgu 120kW par vienu datu centra plauktu, kas lielākajai daļai klientu nav.
Un tad jūs sākat strādāt, apsverot manas GPU prasības un kur es tās varu izvietot? Kolorādos? Vai tas ir datu centrā, kas man ir? Vai tas ir potenciāli mitināts kādā mākoņu vai neo-mākoņu vidē? Neo mākoņi ir šie jaunie AI mākoņi, kas dzimuši AI laikmetā. Ir tik daudz dažādu lēmumu pieņemšanas aspektu, kas tiek izmantoti, kad cilvēki domā, ka vēlas sākt izvietot aģentu darba slodzi.
Kādi ir galvenie izaicinājumi uzglabāšanas infrastruktūrai, jo īpaši aģentiskajā AI?
Nu, tāpat kā ar pirmo jautājumu, tas ir patiešām daudzdimensionāls.
Es domāju, ka pirmā lieta, kas palielinās, ir tā, kas ir uzglabāšana aģentiskajā AI? Un tas ir kaut kas radikāli mainījies, kopš cilvēki sāka apmācīt AI modeļus. Lielākā daļa cilvēku parasti strādāja, pieņemot, ka, ja jums ir laba un ātra failu sistēma, tas ir pietiekami labi. Un tā, atšķirība šeit ir tāda, ka tad, kad cilvēki trenējas AI izpratnē un pat precīzi noregulējami, bieži tās ir ļoti labi izstrādātas datu kopas, kuras tiek barotas AI mašīnās, un jūs gaidāt dažas stundas vai dažas dienas, un iznāk jauns modelis.
Un tas ir mijiedarbības līmenis, kas jums ir ar pamatā esošajām uzglabāšanas sistēmām, izņemot to, ka uzglabāšanas sistēmai ir arī jāspēj uztvert periodiskus kontrolpunktus, lai pārliecinātos, ka, ja klasteris neizdodas, jūs varat atgūties no kāda laika darba laikā un sākt no jauna.
Ja domājat par aģentiem, lietotājs iekļūst sistēmā un izdara uzvedni, un šī uzvedne pēc tam nosūtīs aģentam, lai veiktu kaut kādu gandrīz neparedzamu skaitļošanas līmeni, kur AI modelis pēc tam dosies un centīsies strādāt ar dažādām papildu datu kopām.
Klientiem ir nepieciešama ne tikai parastā krātuve, piemēram, failu sistēmas un objektu glabāšana. Viņiem ir vajadzīgas arī datu bāzes. Ja redzējāt dažus no datu brīžiem paziņojumiem, viņi runā par to, kā AI sistēmas tagad veido vairāk datu bāzu nekā cilvēkiem. Un datu noliktavas ir īpaši svarīgas, jo AI aģenti izskatās saprātīgi visās plaša mēroga datu noliktavās.
Tātad visam, kam nepieciešama analītika, nepieciešama datu noliktava. Jebkuram, kas prasa izpratni par nestrukturētiem datiem, nepieciešama ne tikai failu sistēma vai objektu glabāšanas sistēma, bet arī prasa vektora datu bāzi, lai palīdzētu AI aģentiem saprast, kas ir šajās failu sistēmās, izmantojot procesu, ko sauc par izguves papildināto ģeneratīvo AI.
Pirmais, kas jānoraida, ir šīs idejas samierināšana, ka ir visdažādākie dažādi datu avoti, un tie visi ir jāapmundrina vai ir jāatstāj AI skaitļošanai, kas gatavojas sasniegt šos datu avotus.
Man patīk kaut kā apskatīt to, kas ir mainījies un kas tirgū nav mainījies. Un tā ir taisnība, ka ir visdažādākās jaunas lietojumprogrammas, kas tiek izvietotas jaunu lietojumprogrammu veidā, kurās tiek izmantoti spriešanas līdzekļi, un tās biznesa loģikas ietvaros izmanto argumentācijas modeļus. Bet ir arī daudz mantotu lietojumprogrammu, kuras tagad ir augšupvērstas, lai atbalstītu arī šo jauno AI skaitļošanas veidu.
Un tā, mūsu vispārīgais secinājums ir tāds, ka katram uzņēmuma lietojumprogrammai nākotnē būs kāda AI sastāvdaļa, kas tajā iestrādāta. Un būs vesela virkne jaunu lietojumprogrammu, kas arī būs uz AI orientēta, un mēs vēl neesam plānojuši vai vēl neeksistē.
Kopīgais pavediens ir tāds, ka ir šis jaunais skaitļošanas stils, kas notiek lietojumprogrammas līmenī jauna veida procesorā, kas vēsturiski nebija populārs uzņēmumā, kas ir GPU vai AI procesors. Bet es domāju, ka lieta, ko cilvēki neapzinās, ir tā, ka datu kopas, kurās viņi apstrādā, ir daudz vēsturisku datu.
Tātad, tā kā iespēja modernizēt datu centru ir Greenfield lietojumprogrammu līmenī un procesora līmenī vai aprēķinu līmenī, [there is] Brauna lauka iespēja modernizēt mantotās datu infrastruktūru, kas mūsdienās ir vērtība un informācija, kuru šie AI aģenti un argumentācijas modeļi centīsies apstrādāt.
Iespējams, ka mēs sākam to, kas varētu būt pasaules lielākais tehnoloģiju atsvaidzināšanas notikums vēsturē
Džefs Denvorts, plašie dati
Tad kļūst jautājums, kāpēc es modernizētu, un kāpēc tas man ir svarīgs? Tieši tur mērogs atgriežas vienādojumā.
Es domāju, ka ir svarīgi kontrolpunkts, kurā mēs atrodamies attiecībā uz aģentu darbplūsmām un kā tas ietekmēs uzņēmumu. Ir taisnīgi teikt, ka gandrīz jebkas, kas ir parasts, vai ar procesu saistīta pieeja uzņēmējdarbībai tiks automatizēta pēc iespējas lielāka.
Tagad ir daudzu organizāciju piemēri, kas nedomā par dažiem aģentiem visā uzņēmumā, bet gan simtiem tūkstošu, un dažos gadījumos simtiem miljonu aģentu.
Piemēram, Nvidia izteica ļoti publisku paziņojumu, ka nākamajos gados viņi izvietos 100 miljonus aģentu. Un tas būtu laikā, kad viņu organizācija būs 50 000 darbinieku. Tagad, ja es saliktu šos divus paziņojumus, tas, kas jums ir, ir aptuveni 2000 līdz vienam AI aģenta un darbinieka attiecībai, par kuru jūs varētu domāt par plānošanu.
Ja tā ir taisnība, 10 000 darbinieku uzņēmumam būtu nepieciešama liela mēroga superdatoru infrastruktūra, lai tikai apstrādātu šo aģentūras līmeni. Tāpēc es domāju par to attiecībā uz to, kādi ir autovadītāji, lai modernizētu infrastruktūru. Ja tikai puse vai daļa no šī AI aģenta mēroga līmeņa sāk sasniegt standarta biznesu, tad katra mantojuma sistēma, kas tur savus datus, nespēs atbalstīt aprēķina intensitāti, kas nāk no šī līmeņa mašīnām.
Un šī ir lieta, kas liek mums domāt, ka mēs varētu uzsākt to, kas varētu būt pasaules lielākais tehnoloģiju atsvaidzināšanas notikums vēsturē. Droši vien pēdējais, līdz AI nonāca tirgū, bija virtualizācija, kas radīja jaunas prasības krātuves un datu bāzes līmenī. Šķiet, ka tas pats attiecas uz AI, jo dažādi klienti, ar kuriem mēs strādājam, sāk pārdomāt datus un uzglabāšanas infrastruktūru liela mēroga aģentu izvietošanai.
Kā klienti var pārliecināties, ka viņu infrastruktūra ir atkarīga no aģentu AI darbiem?
Tas noteikti prasa zināmu uzmanību un izprast klientu darba slodzi.
Bet viena no lietām, ko es redzu visā tirgū, ir arī pārmērīga rotācija, kur praktiķi infrastruktūrā ne vienmēr izprot vajadzības, kas rodas ne jaunā biznesa loģikā, ne AI pētījumos.
Un tā, viņi mēdz pārmērīgi kompensēt nezināmo. Un tas ir arī diezgan bīstami, jo tas rada sliktu garšu mutē organizācijām, kuras sāk parādīties dažādās AI iniciatīvās, kad viņi saprot, labi, mēs šeit pārliekam, mēs šeit iegādājāmies nepareizas lietas.
Pirmais, ko es teiktu, ir tas, ka tirgū ir labākā prakse, kas noteikti būtu jāievēro. Piemēram, NVIDIA ir paveicis patiešām drausmīgu darbu, lai palīdzētu formulēt klientu un izmēru noteikšanu atbilstoši dažādām GPU definīcijām, lai viņi varētu veidot infrastruktūru, kas ir vispārīgi izveicīga un optimizēta, bet ne vienmēr ir pārāk liela.
Otra lieta, ko es teiktu, ir tā, ka hibrīda mākoņa stratēģijas noteikti ir jāsaskaņo, ne tikai tikai infrastruktūrai kā pakalpojumam-vai es izvietoju lietas savā datu centrā? Vai es izvietoju dažus sīkumus dažādos AI mākoņos vai publiskos mākoņos? – bet arī dažādas SaaS [software-as-a-service] pakalpojumi.
Iemesls ir tas, ka tur notiks daudz aģentu darbu. Jums tagad, piemēram, Slack, tam ir savi AI pakalpojumi. Gandrīz jebkuram lielākajam SaaS piedāvātajam ir arī AI apakškomponents, kas ietver zināmu aģentu daudzumu. Vislabākais, kas jādara, ir sēdēt kopā ar lietojumprogrammu arhitektu komandu, kurai daudziem mūsu krātuves klientiem nav obligāti jābūt ciešam savienojumam.
Otra lieta ir sēdēt kopā ar datu bāzu komandām. Kāpēc? Tā kā uzņēmuma datu noliktavas ir jāpārdomā un jāpārdomā šajā aģentiskās skaitļošanas pasaulē, bet vektoru datu bāzu veidā ir nepieciešami arī jauni datu bāzu veidi. Tiem ir atšķirīgas prasības infrastruktūrā un aprēķina, kā arī uzglabāšanas līmenī.
Visbeidzot, ir jābūt zināmai harmonizācijai ap to, kas notiks ar datu centru un dažādiem mākoņiem. Jums jārunā ar dažādiem pārdevējiem, ar kuriem strādājat. Tas un visa prakse, kas palīdz cilvēkiem ar to.
Mums ir kaut kas līdzīgs aptuveni 1,2 miljoniem GPU, ko mēs darbināmies visā pasaulē, un ir visdažādākās interesantas pieejas ne tikai lieluma noteikšanai, bet arī turpmākajai datu sistēmām, izprotot, kā turpināt mērogot, ja dažādi AI projekti pieturas un izrādās veiksmīgi.
