Datu inženieriem jāstrādā ātrāk nekā jebkad agrāk. Ar mākslīgo intelektu darbināmi rīki sola automatizēt konveijera optimizāciju, paātrināt datu integrāciju un tikt galā ar atkārtotu rupju darbu, kas gadu desmitiem ir definējis profesiju.
Tomēr saskaņā ar jauno aptauju, kurā piedalījās 400 augstākā līmeņa tehnoloģiju vadītāji, ko veica MIT Know-how Overview Insights sadarbībā ar Sniegpārsla77% apgalvo, ka viņu datu inženieru komandu darba slodze kļūst arvien lielāka, nevis mazāka.
Vainīgais? Paši AI rīki, kas paredzēti, lai palīdzētu, rada jaunu problēmu kopumu.
Lai gan 83% organizāciju jau ir izvietojušas uz AI balstītus datu inženierijas rīkus, 45% kā galveno izaicinājumu min integrācijas sarežģītību. Vēl 38% cīnās ar instrumentu izplešanos un sadrumstalotību.
"Daudzi datu inženieri izmanto vienu rīku datu vākšanai, vienu datu apstrādei un otru, lai veiktu šo datu analīzi," Kriss Čailds, Snowflake datu inženierijas produktu viceprezidents, pastāstīja VentureBeat. "Vairāku rīku izmantošana šajā datu dzīves ciklā rada sarežģītību, risku un uzlabotu infrastruktūras pārvaldību, ko datu inženieri nevar atļauties uzņemties."
Rezultāts ir produktivitātes paradokss. AI rīki padara atsevišķus uzdevumus ātrākus, guess atvienoto rīku izplatība padara visu sistēmu sarežģītāku pārvaldību. Uzņēmumiem, kas cīnās, lai plašā mērogā ieviestu AI, šī sadrumstalotība ir būtisks šķērslis.
No SQL vaicājumiem uz LLM konveijeriem: ikdienas darbplūsmas maiņa
Aptaujā noskaidrots, ka datu inženieri pirms diviem gadiem AI projektiem veltīja vidēji 19% sava laika. Šodien šis skaitlis ir pieaudzis līdz 37%. Respondenti paredz, ka divu gadu laikā tas sasniegs 61%.
Wager kā šī maiņa patiesībā izskatās praksē?
Bērns piedāvāja konkrētu piemēru. Iepriekš, ja uzņēmuma finanšu direktoram bija jāsniedz prognozes, viņi izmantoja datu inženieru komandu, lai palīdzētu izveidot sistēmu, kas korelē nestrukturētus datus, piemēram, pārdevēju līgumus, ar strukturētiem datiem, piemēram, ieņēmumu skaitļiem, statiskā informācijas panelī. Šo divu dažādu datu tipu savienošana bija ārkārtīgi laikietilpīga un dārga, tāpēc juristiem bija manuāli jāizlasa katrs dokuments, lai uzzinātu galvenos līguma noteikumus, un augšupielādētu šo informāciju datubāzē.
Šodien tā pati darbplūsma izskatās radikāli atšķirīga.
"Datu inženieri var izmantot tādu rīku kā Snowflake Openflow, lai nestrukturētus PDF līgumus, kas atrodas tādā avotā kā Field, kopā ar strukturētiem finanšu rādītājiem vienā platformā, piemēram, Snowflake, padarītu pieejamus LLM, padarot datus pieejamus." Bērns teica. "Tas, kas agrāk prasīja stundas fiziska darba, tagad ir gandrīz acumirklīgs."
Pārslēgšanās nav saistīta tikai ar ātrumu. Tas ir par paša darba būtību.
Pirms diviem gadiem tipiska datu inženiera diena sastāvēja no klasteru regulēšanas, SQL transformāciju rakstīšanas un datu gatavības nodrošināšanas cilvēku analītiķiem. Mūsdienās šis pats inženieris, visticamāk, atkļūdos ar LLM darbināmus transformācijas cauruļvadus un izveidos pārvaldības noteikumus AI modeļu darbplūsmām.
"Datu inženieru pamatprasmes nav tikai kodēšana," Bērns teica. "Tā organizē datu pamatu un nodrošina uzticību, kontekstu un pārvaldību, lai AI rezultāti būtu uzticami."
Rīku kaudzes problēma: kad palīdzība kļūst par šķērsli
Lūk, kur uzņēmumi iestrēgst.
Ar AI darbināmu datu rīku solījums ir pārliecinošs: automatizējiet konveijera optimizāciju, paātriniet atkļūdošanu, racionalizējiet integrāciju. Taču praksē daudzas organizācijas atklāj, ka katrs jauns AI rīks, ko tās pievieno, rada savas integrācijas galvassāpes.
Aptaujas dati to apliecina. Lai gan mākslīgais intelekts ir uzlabojis produkcijas daudzumu (par 74% ziņo par pieaugumu) un kvalitāti (77% ziņo par uzlabojumiem), šos ieguvumus kompensē darbības izmaksas, kas saistītas ar atvienoto rīku pārvaldību.
"Otra problēma, ko mēs redzam, ir tā, ka mākslīgā intelekta rīki bieži vien atvieglo prototipa izveidi, savienojot vairākus datu avotus ar gatavu LLM," Bērns teica. "Wager tad, kad vēlaties to ieviest ražošanā, jūs saprotat, ka jums nav pieejami dati un jūs nezināt, kāda pārvaldība jums ir nepieciešama, tāpēc kļūst grūti izplatīt rīku lietotājiem."
Tehnisko lēmumu pieņēmējiem, kuri šobrīd novērtē savu datu inženierijas komplektu, Youngster piedāvāja skaidru ietvaru.
"Komandām par prioritāti jānosaka AI rīki, kas paātrina produktivitāti, vienlaikus novēršot infrastruktūru un darbības sarežģītību," viņš teica. "Tas ļauj inženieriem novirzīt uzmanību no datu inženierijas “līmējošā darba” pārvaldības un tuvāk biznesa rezultātiem."
Aģentārā AI izvietošanas logs: 12 mēneši, lai to izdarītu pareizi
Aptauja atklāja, ka 54% organizāciju plāno ieviest aģentu AI nākamo 12 mēnešu laikā. Aģentiskais AI attiecas uz autonomiem aģentiem, kas var pieņemt lēmumus un veikt darbības bez cilvēka iejaukšanās. Vēl 20% to jau ir sākuši darīt.
Datu inženieru komandām aģents AI ir gan milzīga iespēja, gan ievērojams dangers. Pareizi darīts, autonomie aģenti var tikt galā ar tādiem atkārtotiem uzdevumiem kā shēmas novirzes noteikšana vai transformācijas kļūdu atkļūdošana. Ja tas tiek darīts nepareizi, tie var sabojāt datu kopas vai atklāt sensitīvu informāciju.
"Datu inženieriem prioritāte jāpiešķir cauruļvada optimizācijai un uzraudzībai, lai patiesi ieviestu aģentu AI plašā mērogā," Bērns teica. "Tas ir zema riska un augstas atdeves sākumpunkts, kas ļauj aģentam AI droši automatizēt atkārtotus uzdevumus, piemēram, shēmas novirzes noteikšanu vai transformācijas kļūdu atkļūdošanu, ja tas tiek izdarīts pareizi."
Wager Bērns uzsvēra aizsargmargām, kurām vispirms ir jābūt vietā.
"Pirms organizācijas ļauj aģentiem tuvoties ražošanas datiem, ir jāievieš divi aizsardzības pasākumi: spēcīga pārvaldība un ciltsrakstu izsekošana un aktīva cilvēku uzraudzība," viņš teica. "Aģentiem ir jāmanto detalizētas atļaujas un jādarbojas noteiktā pārvaldības sistēmā."
Šo darbību izlaišanas dangers ir reāls. "Ja nav atbilstošas ciltsraksta vai piekļuves pārvaldības, aģents var netīši sabojāt datu kopas vai atklāt sensitīvu informāciju," Bērns brīdināja.
Uztveres atšķirības, kas maksā uzņēmumu AI panākumus
Iespējams, visspilgtākais atklājums aptaujā ir atvienojums C suite līmenī.
Lai gan 80% galveno datu amatpersonu un 82% galveno AI darbinieku uzskata, ka datu inženieri ir uzņēmējdarbības panākumu neatņemama sastāvdaļa, šim viedoklim piekrīt tikai 55% CIO.
"Tas liecina, ka datu pārraides līderi saskata datu inženierijas stratēģisko vērtību, taču mums ir jādara vairāk, lai palīdzētu pārējiem C-suite dalībniekiem atzīt, ka ieguldījums vienotā, mērogojamā datu fondā un cilvēkos, kas palīdz to vadīt, ir ieguldījums AI panākumos, ne tikai IT darbībās." Bērns teica.
Šai uztveres plaisai ir reālas sekas.
Datu inženieri aptaujātajās organizācijās jau ir ietekmējuši lēmumus par AI izmantošanas iespējamību (53% respondentu) un biznesa vienību AI modeļu izmantošanu (56%). Taču, ja CIO neatzīs datu inženierus par stratēģiskiem partneriem, viņi, visticamāk, nedos šīm komandām resursus, pilnvaras vai vietu pie galda, kas tām nepieciešamas, lai novērstu aptaujā konstatēto rīku izplešanos un integrācijas problēmas.
Šķiet, ka atšķirība ir saistīta ar redzamību. Galvenie datu darbinieki un galvenie AI darbinieki katru dienu strādā tieši ar datu inženieru komandām un saprot, cik sarežģīti ir viņu pārvaldītie darbi. CIO, kas plašāk koncentrējas uz infrastruktūru un operācijām, var neredzēt stratēģiskās arhitektūras darbu, ko arvien vairāk veic datu inženieri.
Šī atvienošana arī parāda, kā dažādi vadītāji novērtē izaicinājumus, ar kuriem saskaras datu inženieru komandas. Galvenie AI virsnieki ievērojami biežāk nekā CIO piekrīt, ka datu inženieru darba slodze kļūst arvien lielāka (93% pret 75%). Viņi arī vairāk atzīs datu inženieru ietekmi uz vispārējo AI stratēģiju.
Kas datu inženieriem tagad jāapgūst
Aptaujā tika identificētas trīs svarīgas prasmes, kas datu inženieriem jāattīsta: AI zināšanas, biznesa spēja un komunikācijas spējas.
Uzņēmumam ar 20 cilvēku datu inženieru komandu tas ir praktisks izaicinājums. Vai jūs pieņemat darbā šīs prasmes, apmācāt esošos inženierus vai pārstrukturējat komandu? Bērna atbilde ieteica, ka prioritātei jābūt biznesa izpratnei.
"Patlaban vissvarīgākā prasme datu inženieriem ir saprast, kas ir būtiski viņu galalietotājiem, un noteikt prioritāti, kā viņi var atvieglot un ātrāk atbildēt uz šiem jautājumiem." viņš teica.
Mācība uzņēmumiem: biznesa konteksts ir svarīgāks par tehnisko sertifikātu pievienošanu. Bērns uzsvēra, ka izpratne par ietekmi uz uzņēmējdarbību, “kāpēc” datu inženieri veic noteiktus uzdevumus, ļaus viņiem labāk paredzēt klientu vajadzības, nekavējoties sniedzot uzņēmumam vērtību.
"Organizācijas ar datu inženieru komandām, kurām šī biznesa izpratne ir prioritāte, atšķirsies no konkurentiem."
Uzņēmumiem, kas vēlas ieņemt vadošo lomu AI jomā, datu inženierijas produktivitātes krīzes risinājums nav vairāk AI rīku. Organizācijas, kas attīstīsies visātrāk, tagad apvieno savus rīku komplektus, izvieto pārvaldības infrastruktūru, pirms aģenti sāk ražot, un paaugstina datu inženierus no atbalsta personāla līdz stratēģiskiem arhitektiem.
Logs ir šaurs. Tā kā 54% plāno aģentu AI izvietošanu 12 mēnešu laikā, un datu inženieri divu gadu laikā tērēs 61% sava laika AI projektiem, komandas, kuras nav novērsušas rīku izplešanos un pārvaldības nepilnības, atklās, ka viņu AI iniciatīvas ir iestrēgušas pastāvīgā izmēģinājuma režīmā.
