Relația dintre LLM/SLM și „puterea mașinii”
Mulți cred că pentru a rula o Inteligență Artificială ai nevoie de servere de la NASA. Realitatea este că poți avea un „creier digital” chiar și pe un laptop decent, dar trebuie să înțelegi un lucru esențial: nu toate creierele sunt de aceeași mărime.
1. Ce înseamnă 7B, 13B sau 70B?
Când cauți un model (fie el LLM - Large Language Model sau SLM - Small Language Model), vei vedea cifre precum 7B. Acest "B" vine de la Biliarde (Miliarde) de parametri.
Imaginează-ți parametrii ca pe niște „neuroni” digitali.
-
SLM (modele mici, 1B - 3B): Sunt ca un elev de gimnaziu. Rapizi, ocupă puțin spațiu, buni pentru sarcini simple.
-
LLM (modele medii, 7B - 14B): Sunt „standardul de aur” pentru acasă. Un student silitor care știe de toate.
-
LLM mari (70B+): Profesorii universitari. Extrem de deștepți, dar au nevoie de o "sală de curs" (hardware) uriașă.
2. Piesa fundamentală: Memoria VRAM (Placa Video)
Dacă procesorul (CPU) este inima calculatorului, placa video (GPU) este mușchiul AI-ului. Mai exact, ne interesează memoria VRAM.
Relația este matematică și brutală:
Modelul de AI trebuie să „încapă” cu totul în memoria plăcii video pentru a funcționa fluid. Dacă nu încape, AI-ul va încerca să folosească memoria RAM a calculatorului, care este de zeci de ori mai înceată.
-
Vrei viteză (20-50 cuvinte/secundă)? Modelul trebuie să stea în VRAM.
-
Ai VRAM puțin? AI-ul va scoate câte un cuvânt la 5 secunde. E ca și cum ai încerca să alergi un maraton prin miere.
3. Ce înseamnă un „Token” și de ce contează?
Viteza unui AI local nu se măsoară în km/h, ci în Tokens per second (t/s).
Un token este unitatea de măsură a AI-ului. Nu este neapărat un cuvânt întreg, ci o silabă sau un grup de litere.
Exemplu: Cuvântul „mâncare” poate fi spart în 2 tokeni: „mân” + „care”.
Dacă mașina ta e puternică, vei vedea cum AI-ul „scrie” instant. Dacă hardware-ul este „strâns de gât”, vei vedea tokenii apărând unul câte unul, chinuitor de rar.
4. Ghid rapid: Ce poți rula în funcție de ce ai sub birou?
| Hardware | Ce poți rula? | Experiență |
| Laptop Office (fără placă video dedicată) | Modele minuscule (1B - 2B) | Acceptabil pentru teste mici. |
| Placă Video 8GB VRAM (ex: RTX 3060/4060) | Modele de 7B - 8B (Llama 3, Mistral) | Excelentă. Este experiența „standard”. |
| Placă Video 12GB - 16GB VRAM | Modele de 12B - 14B sau variante "HQ" de 8B | Foarte rapidă și precisă. |
| Stație Workstation (24GB+ VRAM) | Modele de 30B - 70B | Ai propriul tău geniu local. |
Concluzie
Nu ai nevoie de o investiție de mii de euro ca să începi. Poți porni cu un model mic (SLM) pe un laptop obișnuit ca să înțelegi procesul. Dar, dacă vrei să porți conversații complexe, investește într-o placă video cu cât mai mult VRAM. Aceea este „puterea” reală în lumea AI-ului local.