Chatbotovi su trenutno u središtu pažnje i svi žele biti dio akcije. Google ima Bard, Microsoft ima Bing Chat, a ChatGPT tvrtke OpenAI praktički je sinonim za umjetnu inteligenciju. Ali što ako ne želite ovisiti o oblaku za korištenje chatbota? Ne brinite, pronašli smo alternativu, LLM vrlo sličan ChatGPT koju možete preuzeti i instalirati lokalno. Zove se Alpaca.
Što je Alpaca?
Alpaca je jezični model (u osnovi chatbot) poput ChatGPT-a. Alpaca može odgovarati na pitanja, razmišljati, pričati viceve i obavljati sve ostale stvari koje očekujemo od chatbota. Alpacu su stvorili istraživači sa Stanforda finim podešavanjem Facebookove LLAMA-e (kako god okrenuli osuđeni ste ili na Ljamu ili na Alpacu)
Za razliku od ChatGPT-a i većine drugih chatbota dostupnih danas, Alpaca se izvodi potpuno na lokalnom poslužitelju – najčešće osobnom računalu.
To znači da nitko ne može prisluškivati vaše razgovore ili ono što pitate Alpacu, a vaši razgovori ne mogu slučajno procuriti. Također znači da ne morate plaćati mjesečne naknade, možete dodatno trenirati model kako bi bolje odgovarao vašim potrebama ako imate hardver i možete ga integrirati u bilo koju aplikaciju.
Ograničeni ste samo svojim hardverom i programerskim sposobnostima.
Međutim, Alpaca također dobro funkcionira kao običan chatbot s kojim možete razgovarati. U ovom članku ćemo Vam pokazati kako ga instalirati i pokrenuti na gotovo svakom računalu.
Kako se Alpaca uspoređuje s ChatGPT-om?
Da odmah razjasnimo: ChatGPT, posebno ChatGPT s GPT-4, trenutno je mnogo pametniji i brži od Alpace.
Razlog je jednostavan i vjerojatno ste ga pogodili iz prve. Alpaca je ograničena računalom na kojem se izvodi – ako imate izuzetno brzo igraće računalo s puno jezgri i dovoljno RAM-a, dobit ćete bolje rezultate. Sporija računala s manje jezgri će duže vremena trebati za generiranje odgovora.
Naravno, nije baš pošteno ni razumno uspoređivati ga s ChatGPT-om u tom pogledu – ne znamo na kojem se računalu ChatGPT izvodi, ali sasvim sigurno je mnogo moćnije od prosječnog stolnog računala.
Trenutno postoje tri glavne varijante Alpace: 7B, 13B i 30B. Naravno, što je veći broj, chatbot će biti pametniji.
Alpaca, posebno model 7B, primjetno je “gluplja” od ChatGPT-a. Ne razmišlja jednako dobro i sigurno ne bi prošla Turingov test. No, model 7B je i dalje odličan izbor ako želite prijedlog za recept.
Modeli 13B i 30B sasvim su druga priča. Model 13B sposoban je pružiti koherentan razgovor s ljudskim karakteristikama i može odgovoriti na kompleksna pitanja. Model 30B je još impresivniji, ako imate potrebnu hardversku podršku, i gotovo doseže razinu ChatGPT-a. Bez problema će filozofirati ili nasmijati vas šalom ako ga potaknete.
Što vam je potrebno za pokretanje Alpace?
Alpaca ima prilično fleksibilne sistemske zahtjeve. Ovo su smjernice iznad minimalnih, ali dobre smjernice.
Također ćemo instalirati Alpacu na Windows. Ako instalirate na sustav s Linuxom ili macOS-om, jednostavno preskočite odjeljak o podsustavu za Windows (WSL) – to se ne odnosi na Vas.
- 16 GB RAM-a (32 GB je bolje), a potrebno je ako želite pokrenuti model 30B
- 35 GB prostora na SSD-u ako želite sve tri varijante – 4 GB za model 7B, 8 GB za model 13B i 20 GB za model 30B
- 500 MB za zadani Ubuntu s WSL2
- Još nekoliko GB-a za druge ovisnosti
- Suvremeni procesor je idealan. Bilo koji Ryzen 5+ ili Intel 7 generacije ili noviji
- Podsustav za Linux 2 (WSL2) za Windows GIT Docker
Upozorenje: Trenutno ne postoji razlog za sumnju da ovaj projekt ima neke ozbiljne sigurnosne nedostatke ili da je zlonamjeran. Prošli smo kroz kod i pokrenuli softver i nismo pronašli ništa zabrinjavajuće. Međutim, to ne znači da je siguran ili će ostati siguran. Uvijek budite oprezni s onim što pronađete na internetu.
Kako pokrenuti Alpacu lokalno na svom računalu
Važno je da slijedite ove korake redoslijedom kojim su navedeni. Docker će vjerojatno prestati raditi ako to ne učinite i zahtijevati potpuno ponovno instaliranje i WSL2 i Docker-a.
Instalirajte podsustav za Linux 2 na Windowsu
Windows Subsystem for Linux 2 (WSL2) tvrtke Microsoft omogućuje vam pokretanje Linux softvera u sustavu Windows. Ima nisku opterećenost i vrlo je praktičan u mnogim slučajevima. Docker za Windows se oslanja na WSL2, pa prvo moramo instalirati WSL2.
Napomena: Ako već imate instaliran WSL2, jednostavno pokrenite naredbu wsl –update u PowerShellu kako biste osigurali da je sve ažurirano. Otvorite prozor PowerShell-a kao administrator, a zatim unesite naredbu:
wsl –install
Potrajat će malo vremena da se preuzmu sve datoteke WSL2 i Ubuntu. Nakon što se instalacija završi, morate ponovno pokrenuti računalo.
Instaliranje WSL2.
Nakon što je ponovno pokrenuto, ponovno otvorite PowerShell (ne nužno kao administrator) i pokrenite:
wsl -l -v
Ako je sve prošlo kako treba, trebali biste vidjeti nešto poput slike u nastavku. Također nije potrebno instalirati posebno Ubuntu.
Možete instalirati bilo koju distribuciju koju želite, Ubuntu je samo zadana opcija.
Instalirajte Docker
Docker je program koji vam omogućuje pokretanje programa u “kontejnerima”. Kontejneri su slični virtualnim strojevima, ali imaju manje opterećenja i bolje performanse za mnoge primjene. Serge koristi Docker kako bi instalacija bila izuzetno jednostavna.
Prvo preuzmite instalacijski program Docker s web stranice Docker-a. Ako ćete pokretati Docker na Linuxu ili macOS-u, pobrinite se da preuzmete odgovarajući instalacijski program.
Napomena: Ako pokrećete headless Linux poslužitelj, slijedite odgovarajuće upute za svoju Linux distribuciju kako biste pokrenuli Docker. Instalirajte Docker Desktop s web stranice Docker-a.
Pokrenite instalacijski program i pripremite se čekati nekoliko minuta. Docker će potrajati neko vrijeme i postaviti nekoliko stvari iza kulisa. Nakon što završi, morat ćete ponovno pokrenuti računalo.
Nakon ponovnog pokretanja, otvorite PowerShell i ponovno pokrenite wsl -l -v. Ovaj put trebali biste vidjeti i neke unose vezane za Docker.
Docker koristi WSL2 za stvaranje virtualnog stroja.
Instalirajte GIT na Windowsu
Zadnji preduvjet je Git, koji ćemo koristiti za automatsko preuzimanje (i ažuriranje) Serge-a s Github-a. Nije strogo potreban jer uvijek možete preuzeti ZIP datoteku i ručno je izvući, ali Git je bolji.
Idite na web stranicu Git-a i preuzmite odgovarajuću verziju za svoj operacijski sustav. Windows korisnici samo trebaju pokrenuti izvršnu datoteku. Provjerite barem opcije instalacije umjesto da brzo klikate kroz sve opcije. Jedna, prikazana na slici ispod, iznimno je važna.
Obavezno odaberite opciju koja dodaje Git na PATH sustava.
Nakon što je Git instaliran, spremni ste instalirati Serge i Alpacu.
Instalirajte Serge i Alpacu Prvo se pobrinite da Docker Desktop radi. Zatim otvorite PowerShell ili Windows Terminal s otvorenim PowerShell prozorom (ne kao administrator) i pokrenite sljedeću naredbu:
git clone https://github.com/serge-chat/serge && cd serge
Ovo preuzima datoteke s GitHub-a u mapu na vašem računalu, a zatim mijenja aktivni direktorij u stvorenu mapu.
Preuzmite Serge s GitHub-a.
Sljedeća naredba koju trebate pokrenuti je:
cp .env.sample .env
Ova linija stvara kopiju datoteke .env.sample i naziva kopiju “.env”. Datoteka sadrži argumente vezane uz lokalnu bazu podataka koja pohranjuje vaše razgovore i priključak koji lokalni web poslužitelj koristi kad se povežete.
Zatim pokrenite:
docker compose up -d
Docker compose povezuje nekoliko različitih kontejnera u uredan paket. Ako želite vidjeti što je točno uključeno, pogledajte datoteku docker-compose.yml u mapi Serge.
Docker-Compose postavlja Serge.
Zadnja naredba pokrenut će preuzimanje, a ovdje trebate donijeti odabir prije nastavka. Postoje tri različite varijante koje možete preuzeti: 7B, 13B i 30B. 7B je najjednostavniji i “najgluplji” model, dok je 30B najsofisticiraniji i najinteligentniji. 13B je srednje rješenje.
Instalacije Linuxa (i vjerojatno macOS-a) moći će se provesti s manje RAM-a od instalacija na Windowsu – Windows je malo proždrljiv po pitanju RAM-a. Vjerojatno biste trebali započeti s modelom 7B jer je to najmanje zahtjevna opcija. Uvijek možete preuzeti 13B ili 30B kasnije ako želite.
Pokrenite sljedeću naredbu za preuzimanje modela 7B (ili zamijenite s 13B ili 30B).
docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B
Budite spremni čekati, posebno ako se odlučite za varijantu 30B. Poslužitelj Huggingface čini se da doseže maksimalnu brzinu od oko 20 megabajta u sekundi, pa ćete u najboljem slučaju trebati 50 sekundi za preuzimanje gigabajta.
Preuzimanje jezičnog modela 7B.
Koristite Serge i Alpacu Docker i svi potrebni kontejneri trenutno rade ako ste slijedili ove upute, međutim, morat ćete ih ponovno pokrenuti ako ponovno pokrenete računalo. Da biste to učinili, samo otvorite Docker Desktop i kliknite male trokutaste gumbe. Ikone lijevo od stupca “Ime” postaju zelene kada kontejneri rade.
Sve je instalirano i spremno za upotrebu. Samo otvorite preglednik i unesite “localhost:8008” u traku adrese, kao što biste učinili za posjet Facebooku ili bilo kojoj drugoj web stranici.
Napomena: Ako koristite Alpacu/Serge na drugom računalu, umjesto “localhost” morat ćete unijeti lokalnu IP adresu tog uređaja. Na glavnom zaslonu prikazani su vaši prethodni razgovori s lijeve strane, a postavke za novi razgovor prikazuju se u sredini.
Imate instaliranu Alpacu. Uživajte.
Za kraj – upozorenje
Zapamtite, ChatGPT, Alpaca i drugi chatbotovi čine se pouzdanim, ali trenutno to nisu. Oni vrlo dobro utjelovljuju izreku: “Ako ne možete zadiviti ljude s briljantnošću, zbunite ih glupostima.” Njihova sklonost izmišljanju naziva se “haluciniranje”. Ne oslanjajte se na njih za ništa bitno, posebno ne za nešto što je ključno za vaš posao ili zdravlje. Oni se trenutno trebaju koristiti samo u zabavne ili eksperimentalne svrhe.
Međutim, tehnologija će se samo poboljšavati s vremenom – uskoro ćemo vidjeti kako se Alpaca (ili drugi lokalno izvršeni AI) integrira u Discord poslužitelje, Minecraft modove i mnoge druge kreativne aplikacije. Daljnje usavršavanje rezultirat će i bržim, preciznijim modelima koji mogu raditi na slabijem hardveru.
