Vektoru datu bāzes (DB), kas kādreiz bija speciāli pētniecības instrumenti, ir kļuvušas par plaši izmantotu infrastruktūru tikai dažu gadu laikā. Tie nodrošina mūsdienu semantisko meklēšanu, ieteikumu dzinējus, krāpšanas apkarošanas pasākumus un AI lietojumprogrammas visās nozarēs. Ir daudz iespēju: PostgreSQL ar pgvector, MySQL HeatWave, DuckDB VSS, SQLite VSS, Pinecone, Weaviate, Milvus un vairākas citas.
Izvēļu bagātība izklausās kā svētība uzņēmumiem. Guess tieši zem tā pavīd pieaugoša problēma: skursteņa nestabilitāte. Katru ceturksni parādās jauni vektoru DB ar atšķirīgām API, indeksēšanas shēmām un veiktspējas kompromisiem. Šodienas ideālā izvēle rīt var izskatīties novecojusi vai ierobežota.
Biznesa AI komandām nepastāvība nozīmē bloķēšanās riskus un migrācijas elli. Lielākā daļa projektu sākas ar vieglajiem dzinējiem, piemēram, DuckDB vai SQLite prototipu veidošanai, pēc tam pāriet uz Postgres, MySQL vai mākoņpakalpojumu ražošanā. Katrs slēdzis ietver vaicājumu pārrakstīšanu, cauruļvadu pārveidošanu un izvietošanas palēnināšanu.
Šis pārbūvētais karuselis mazina ātrumu un veiklību, ko AI ieviešanai vajadzētu nodrošināt.
Kāpēc pārnesamība tagad ir svarīga
Uzņēmumiem ir sarežģīts līdzsvarošanas akts:
-
Eksperimentējiet ātri ar minimālām pieskaitāmajām izmaksām, cerot izmēģināt un iegūt agrīnu vērtību;
-
Droši mērogojiet stabilu, ražošanas kvalitātes infrastruktūru bez mēnešiem ilgas pārstrukturēšanas;
-
Esiet veikls pasaulē, kurā gandrīz katru mēnesi tiek piegādātas jaunas un labākas aizmugursistēmas.
Bez pārnesamības organizācijas stagnē. Viņiem ir tehniski parādi no rekursīviem koda ceļiem, viņi vilcinās pieņemt jaunas tehnoloģijas un nevar ātri pārvietot prototipus uz ražošanu. Faktiski datu bāze ir sašaurinājums, nevis paātrinātājs.
Pārnesamība jeb iespēja pārvietot pamatā esošo infrastruktūru bez lietojumprogrammas atkārtotas kodēšanas ir arvien stratēģiskāka prasība uzņēmumiem, kas plašā mērogā ievieš AI.
Abstrakcija kā infrastruktūra
Risinājums nav izvēlēties "ideāls" vektoru datubāze (tādas nav), guess lai mainītu to, kā uzņēmumi domā par problēmu.
Programmatūras inženierijā adaptera modelis nodrošina stabilu saskarni, vienlaikus slēpjot pamata sarežģītību. Vēsturiski mēs esam redzējuši, kā šis princips pārveidoja visas nozares:
-
ODBC/JDBC sniedza uzņēmumiem vienu veidu, kā veikt vaicājumus relāciju datu bāzēs, samazinot risku tikt piesaistītiem Oracle, MySQL vai SQL Server;
-
Apache Arrow standartizēja kolonnu datu formātus, lai datu sistēmas varētu labi saspēlēties;
-
ONNX izveidoja pārdevēja-agnostisku formātu mašīnmācīšanās (ML) modeļiem, apvienojot TensorFlow, PyTorch utt.;
-
Kubernetes abstrahēja infrastruktūras detaļas, tāpēc darba slodzes varēja darboties vienādi visur mākoņos;
-
any-llm (Mozilla AI) tagad nodrošina vienu API daudziem lielu valodas modeļu (LLM) piegādātājiem, tāpēc spēlēšana ar AI ir drošāka.
Visas šīs abstrakcijas noveda pie pieņemšanas, samazinot pārejas izmaksas. Viņi pārvērta salauztas ekosistēmas par stabilu, uzņēmuma līmeņa infrastruktūru.
Arī vektoru datu bāzes atrodas tajā pašā pagrieziena punktā.
Adaptera pieeja vektoriem
Tā vietā, lai lietojumprogrammas kods būtu tieši saistīts ar kādu konkrētu vektoru aizmugursistēmu, uzņēmumi var apkopot, izmantojot abstrakcijas slāni, kas normalizē tādas darbības kā ievietošana, vaicājumi un filtrēšana.
Tas ne vienmēr novērš nepieciešamību izvēlēties aizmugursistēmu; tas padara šo izvēli mazāk stingru. Izstrādes komandas var sākt ar DuckDB vai SQLite laboratorijā, pēc tam mērogot līdz Postgres vai MySQL ražošanai un visbeidzot pieņemt īpašam nolūkam paredzētu mākoņa vektora DB bez nepieciešamības atkārtoti izstrādāt lietojumprogrammu.
Atvērtā pirmkoda centieni, piemēram, Vectorwrap, ir šīs pieejas agrīnie piemēri, kas piedāvā vienu Python API Postgres, MySQL, DuckDB un SQLite. Tie demonstrē abstrakcijas spēku, lai paātrinātu prototipu veidošanu, samazinātu bloķēšanas risku un atbalstītu hibrīda arhitektūras, kas izmanto daudzas aizmugursistēmas.
Kāpēc uzņēmumiem vajadzētu rūpēties
Datu infrastruktūras vadītājiem un AI lēmumu pieņēmējiem abstrakcija piedāvā trīs priekšrocības:
Ātrums no prototipa līdz ražošanai
Komandas var izveidot prototipus vieglā vietējā vidē un mērogot bez dārgām pārrakstīšanas.
Samazināts pārdevēja dangers
Organizācijas var pieņemt jaunas aizmugursistēmas, kad tās parādās bez ilgiem migrācijas projektiem, atsaistot lietotnes kodu no konkrētām datu bāzēm.
Hibrīda elastība
Uzņēmumi var apvienot darījumu, analītiskos un specializētos vektoru DB vienā arhitektūrā, izmantojot apkopotu saskarni.
Rezultāts ir datu slāņa veiklība, un tā arvien vairāk atšķiras starp ātriem un lēniem uzņēmumiem.
Plašāka kustība atvērtā pirmkoda jomā
Tas, kas notiek vektoru telpā, ir viens no lielākas tendences piemēriem: atvērtā koda abstrakcijas kā kritiskā infrastruktūra.
-
Datu formātos: Apache Arrow
-
ML modeļos: ONNX
-
Orķestrē: Kubernetes
-
AI API: jebkura-LLM un citas līdzīgas sistēmas
Šie projekti gūst panākumus, nevis pievienojot jaunas iespējas, guess gan novēršot berzi. Tie ļauj uzņēmumiem ātrāk pārvietoties, nodrošināt riska darījumus un attīstīties kopā ar ekosistēmu.
Vector DB adapteri turpina šo mantojumu, pārveidojot ātrdarbīgu, sadrumstalotu telpu infrastruktūrā, no kuras uzņēmumi var patiesi paļauties.
Vektoru DB pārnesamības nākotne
Vektoru DB ainava tuvākajā laikā nesaplūdīs. Tā vietā opciju skaits pieaugs, un katrs pārdevējs pielāgosies dažādiem lietošanas gadījumiem, mērogam, latentumam, hibrīda meklēšanai, atbilstībai vai mākoņa platformas integrācijai.
Abstrakcija šajā gadījumā kļūst par stratēģiju. Uzņēmumi, kas izmanto pārnēsājamas pieejas, varēs:
-
Drosmīgi veidojiet prototipus
-
Izvietošana elastīgā veidā
-
Ātra mērogošana jaunām tehnoloģijām
Iespējams, mēs beidzot redzēsim a "JDBC vektoriem," universāls standarts, kas kodificē vaicājumus un darbības aizmugursistēmās. Līdz tam laikam atvērtā pirmkoda abstrakcijas liek pamatus.
Secinājums
Uzņēmumi, kas pieņem AI, nevar atļauties, ka tos palēninās datubāzes bloķēšana. Attīstoties vektoru ekosistēmai, ieguvēji būs tie, kas uztver abstrakciju kā infrastruktūru, balstoties uz pārnēsājamām saskarnēm, nevis piesaistoties kādai atsevišķai aizmugursistēmai.
Gadu desmitiem ilgā programmatūras inženierijas mācība ir vienkārša: standarti un abstrakcijas noved pie pieņemšanas. Attiecībā uz vektoru DB šī revolūcija jau ir sākusies.
Mihirs Ahuja ir AI/ML inženieris un atvērtā koda līdzstrādnieks, kas atrodas Sanfrancisko.
