Home Tehnoloģija Kā viegli palaist savus iecienītos vietējos AI modeļus vietnē Linux ar šo...

Kā viegli palaist savus iecienītos vietējos AI modeļus vietnē Linux ar šo parocīgo lietotni

37
0

Havier Zayas Pictures/Getty Photographs

Es jau kādu laiku izmantoju AI kā vienu no maniem pārņēmumiem pētījumiem. Lai gan ir daudz iespēju, kurām var piekļūt, izmantojot tīmekļa pārlūku (piemēram, Opera ARIA, pirmo AI pakalpojumu, kuru jebkad izmantoju), es dodu priekšroku galddatoru rīkiem, jo ​​es varu instalēt un izmantot vietējās LLM – tāpēc visi mani jautājumi paliek privāti. Izmantojot darbvirsmas rīku, es varu viegli pārslēgties starp vietējiem LLM, piemēram, Llama, DeepSeek R1, Mistral Instruct, Orca, GPT4all Falcon un daudz ko citu.

Līdz šim mana noklusējuma Linux AI GUI bija bijusi MSTY, wager esmu atradusi jaunu lietotni, kas ir tikpat laba. Šī lietotne ir GPT4Allpieejams Linux, MacOS un Home windows.

Arī: manas divas iecienītās AI lietotnes Linux – un kā es tās izmantoju, lai vairāk paveiktu

GPT4All var izmantot standarta vaicājumiem kā personīga rakstīšanas asistentam, koda rakstīšanai un citam. Tam ir arī fantastiska lietotāja saskarne, kuru ir ērti lietot un tieši iederēsies ar darbvirsmas izskatu un izskatu.

GPT4all lietojumprogramma, kas darbojas ar pop! _Os Linux.

Jack Wallen/Zdnet ekrānuzņēmums

Viens no GPT4ALL aspektiem, ko es novērtēju, ir spēja izvēlēties aprēķināšanas ierīci teksta ģenerēšanai. Piemēram, manam System76 Thelio ir AMD Radeon RX 7600 GPU. GPT4all atklāj, ka GPU un ļauj man izmantot vai nu Vulkan: AMD Radeon RX 7600 (Radv Navi33), vai Vulkan: AMD Radeon RX 7600 (Radv Raphael_mendocino).

Es varu arī atlasīt savu noklusējuma modeli, mainīt ieteikuma režīmu (sekojošo jautājumu ģenerēšanai), konfigurēt CPU pavedienu skaitu, iespējot sistēmas paplātes lietotni un daudz ko citu. Es varu iespējot vietējo API serveri, lai GPT4all varētu piekļūt, izmantojot http: // localhost: 4891Apvidū Negatīvie tā izmantošana servera režīmā ir tas, ka tas patērē vairāk sistēmas resursu.

Saņemsim GPT4ALL instalētu Linux, lai es varētu jums parādīt, kas ir kas.

GPT4ALL instalēšana uz Ubuntu balstītiem izplatījumiem

Kas jums būs nepieciešams: Pašlaik vienīgie atbalstītie Linux izplatījumi ir tie, kas balstīti uz Ubuntu, tāpēc jums būs nepieciešams Ubuntu balstīta izplatīšanas occasion. Es to demonstrēšu pop! _Os Linux.

Pirmais, kas jādara, ir lejupielādēt instalētāja failu. Norādiet pārlūkprogrammu uz Ubuntu instalētāja lejupielāde un, kad tiek uzaicināts, saglabājiet GPT4All-Installer-linux.run failu ~/lejupielādēs.

Parādīt vairāk

Atveriet noklusējuma termināļa loga lietotni un mainiet lejupielāžu direktoriju ar komandu CD ~/lejupielādesApvidū Kad esat tur, dodiet instalētājam izpildāmās atļaujas ar komandu:

Parādīt vairāk

chmod u+x gpt4all-installer-linux.run

Tagad jūs varat palaist instalētāju ar komandu:

Parādīt vairāk

./gpt4all-installer-linux.runt

Ņemiet vērā, ka instalēšanai nav jāizmanto sudo. Ja jūs mēģināt instalēt GPT4ALL ar sudo, tas kļūdās. Kad tiek atvērts instalācijas vednis, noklikšķiniet pa darbībām, lai pabeigtu instalēšanu.

Arī: kā es pabaroju savus failus vietējā AI, lai iegūtu labākas, atbilstošākas atbildes

GPT4All instalācijas vednis.

GPT4ALL instalācijas vednis ir pietiekami vienkāršs, lai ikviens to varētu izdarīt.

Jack Wallen/Zdnet ekrānuzņēmums

Instalācijai vajadzētu pabeigt bez aizķeršanās.

Izmantojot GPT4ALL

Pirmoreiz atverot GPT4ALL, jums būs vai nu jāizvēlas vai jāiziet anonīma lietošanas analītika un anonīma tērzēšanas kopīgošana. Es ieteiktu jums atteikties. Kad esat to izdarījis, jūs atradīsit sevi galvenajā GPT4ALL logā, kur jums būs jāinstalē vietējais modelis.

GPT4ALL galvenais logs.

Labi izstrādāts GPT4all lietojumprogrammas logs ir viegli saprotams bez lielām pūlēm.

Jack Wallen/Zdnet ekrānuzņēmums

Lai instalētu savu pirmo modeli, noklikšķiniet uz Modeļiem un pēc tam noklikšķiniet uz Pievienot modeli. Iegūtajā logā ritiniet uz leju un atrodiet vēlamo modeli, piemēram, LLAMA 3.2 3B instrukciju. Kad jūs to atrodat, noklikšķiniet uz lejupielādēt, lai sāktu procesu. Atcerieties, ka šie modeļi var būt diezgan lieli (mazākais ir LLAMA 3.2 3B norādījums pie 1,79 GB).

LLAMA 3.2 3B modeļa saraksts.

Es bieži izmantoju vienu no lamu modeļiem, jo ​​tie ir mazi un efektīvi.

Jack Wallen/Zdnet ekrānuzņēmums

Kad modelis ir lejupielādēts un instalēts, jūs to atradīsit uzskaitīts sadaļā Modeļi.

Arī: kā palaist DeepSeek AI vietējā mērogā, lai aizsargātu savu privātumu – 2 vienkārši veidi

Kreisajā sānjoslā noklikšķiniet uz tērzēšanas ikonas. Ja esat instalējis tikai vienu modeli, tas tiks uzskaitīts augšējā centrā. Ja esat instalējis vairākus modeļus, atlasiet to, kuru vēlaties izmantot no nolaižamās nolaižamās puses.

GPT4all reaģē uz vaicājumu, "Kas ir Linux?"

Es jautāju: “Kas ir Linux?” par manu pirmo vaicājumu.

Jack Wallen/Zdnet ekrānuzņēmums

Laukā “Nosūtiet ziņojumu” ierakstiet savu vaicājumu un nospiediet taustiņu ievadīšanu. GPT4ALL kļūs aizņemts, lai atbildētu uz jūsu vaicājumu. Ja esat iespējojis papildu ieteikumus, tie tiks uzskaitīti zem atbildes. Man patīk papildu ieteikumi, jo tie man palīdz ienirt dažos nopietni ieskaujošos (un reizēm jautros) trušu caurumos. Savā System76 Thelio es tik tikko pamanīju papildu aprēķina pieskaitāmās izmaksas, kas vajadzīgas ierosinātajiem turpmākajiem pasākumiem, tāpēc to ir vērts iespējot.

GPT4ALL vaicājums ar ieteiktajiem papildu jautājumiem.

Es uzskatu, ka turpmākie pasākumi ir obligāti.

Jack Wallen/Zdnet ekrānuzņēmums

Un tas, mani draugi, ir viss, lai GPT4ALL tiek uzstādīts Linux – un šī noderīgā rīka izmantošanas pamatos.

Vai vēlaties vairāk stāstu par AI? Reģistrējieties inovācijāmmūsu iknedēļas biļetens.



avots