Home Tehnoloģija No ātra haosa līdz skaidrībai: kā izveidot stabilu AI orķestrācijas slāni

No ātra haosa līdz skaidrībai: kā izveidot stabilu AI orķestrācijas slāni

8
0

Pievienojieties pasākumam, kuru uzņēmuma vadītāji uzticas gandrīz divas desmitgades. VB Rework apvieno cilvēkus, kas veido reālu uzņēmumu AI stratēģiju. Uzziniet vairāk


Redaktora piezīme: Emīlija nākamnedēļ vadīs redakcijas apaļo galdu par šo tēmu VB Rework. Reģistrējieties šodienApvidū

AI aģenti mūsdienās šķiet neizbēgami. Lielākā daļa uzņēmumu jau izmanto AI lietojumprogrammu un, iespējams, ir izvietojuši vismaz viena aģenta sistēmu ar plāniem izmēģināt darbplūsmas ar vairākiem aģentiem.

Visu to izplešanās pārvaldīšana, it īpaši, mēģinot ilgtermiņā veidot savietojamību, var kļūt milzīga. Sasniedzot šo aģentu nākotni, tas nozīmē darbināma orķestrācijas sistēmu, kas vada dažādus aģentus.

Pieprasījums pēc AI lietojumprogrammām un orķestrēšanai ir radījis topošo kaujas laukumu, un uzņēmumi ir vērsti uz to, lai nodrošinātu ietvarus un rīkus, kas iegūst klientus. Tagad uzņēmumi var izvēlēties starp orķestrēšanas sistēmas pakalpojumu sniedzējiem, piemēram, LangchainVerdzība LamaindexVerdzība Apkalpes AIVerdzība Microsoftautogen un Openaiswarm.

Uzņēmumiem ir jāapsver arī orķestrācijas ietvara veids, ko viņi vēlas īstenot. Viņi var izvēlēties starp uzreiz balstītu sistēmu, uz aģentiem orientētiem darbplūsmas motoriem, izguves un indeksētiem ietvariem vai pat orķestrēšanu no vienas no gala līdz galam.

Tā kā daudzas organizācijas tikai sāk eksperimentēt ar vairākām AI aģentu sistēmām vai vēlas veidot lielāku AI ekosistēmu, īpašie kritēriji ir viņu prāta augšgalā, izvēloties orķestrācijas ietvaru, kas vislabāk atbilst viņu vajadzībām.

Šis lielāks orķestrēšanas iespēju kopums virza vietu vēl vairāk, mudinot uzņēmumus izpētīt visu iespējamo izvēli, lai organizētu savas AI sistēmas, tā vietā, lai piespiestu tās iekļauties kaut kas cits. Lai arī tas var šķist milzīgs, organizācijām ir veids, kā apskatīt labāko praksi, izvēloties orķestrēšanas ietvaru un izdomāt, kas viņiem labi darbojas.

Orķestrēšanas platforma Orq iezīmēts emuāra ziņa ka AI pārvaldības sistēmās ir iekļauti četri galvenie komponenti: ātra pārvaldība konsekventai modeļa mijiedarbībai, integrācijas rīkiem, stāvokļa pārvaldībai un uzraudzības rīkiem veiktspējas izsekošanai.

Labākā prakse, kas jāņem vērā

Uzņēmumiem, kas plāno sākt savu orķestrēšanas braucienu vai uzlabot savu pašreizējo, daži eksperti no uzņēmumiem, piemēram, Teneo un ORQ piezīme ir vismaz piecas labākās prakses, ar kurām sākt.

  • Definējiet savus biznesa mērķus
  • Izvēlieties rīkus un lielas valodas modeļus (LLM), kas atbilst jūsu mērķiem
  • Izklājiet to, kas jums nepieciešams no orķestrēšanas slāņa, un prioritāri piešķiriet prioritāti, ti, integrāciju, darbplūsmas dizainu, uzraudzību un novērojamību, mērogojamību, drošību un atbilstību
  • Ziniet savas esošās sistēmas un kā tās integrēt jaunajā slānī
  • Izprast savu datu cauruļvadu

Tāpat kā jebkuram AI projektam, organizācijām jāņem norādījumi no savām biznesa vajadzībām. Kas viņiem ir nepieciešams AI lietojumprogramma vai aģenti, un kā tie tiek plānoti atbalstīt viņu darbu? Sākot ar šo galveno soli, tas palīdzēs labāk informēt viņu orķestrēšanas vajadzības un nepieciešamos rīkus.

Teneo teica emuāra ierakstā Kad tas ir skaidrs, komandām jāzina, kas viņiem ir nepieciešams no viņu orķestrēšanas sistēmas, un jānodrošina, ka šīs ir pirmās funkcijas, kuras viņi meklē. Daži uzņēmumi, iespējams, vēlēsies vairāk koncentrēties uz uzraudzību un novērojamību, nevis darbplūsmas dizainu. Parasti vairums orķestrēšanas ietvaru piedāvā virkni funkciju, un uzņēmumu galvenās prioritātes bieži ir komponentu, piemēram, integrācija, darbplūsma, uzraudzība, mērogojamība un drošība. Izpratne par to, kas organizācijai ir vissvarīgākais, labāk vadīs, kā viņi vēlas veidot savu orķestrēšanas slāni.

A emuāra ierakstsLangchain paziņoja, ka uzņēmumiem jāzina, kāda informācija vai darbs tiek nodots modeļiem.

“Izmantojot ietvaru, jums ir jābūt pilnīgai kontrolei pār to, kas tiek nodots LLM, un pilnīga kontrole pār to, kādi pasākumi tiek veikti un kādi secībā (lai ģenerētu kontekstu, kas tiek nodots LLM). Mēs to prioritizējam ar langgrāfu, kas ir zema līmeņa orķestra ietvars, kas nav nekāds slēpts uzvedums, kas jums nav paredzēts, lai“ kognitīvs ”.

Tā kā vairums uzņēmumu plāno pievienot AI aģentus esošajām darbplūsmām, labākā prakse ir zināt, kurām sistēmām jābūt daļai no orķestrācijas kaudzes, un atrast platformu, kas ir vislabākā.

Kā vienmēr, uzņēmumiem jāzina viņu datu cauruļvads, lai viņi varētu salīdzināt viņu uzraudzības aģentu veiktspēju.


avots

LEAVE A REPLY

Please enter your comment!
Please enter your name here