Czy mi pójdzie?

Sprawdź, czy Llama, Qwen, Gemma albo Bielik ruszy na Twojej karcie graficznej, ile zajmie pamięci i jak szybko mniej więcej odpowie.

Liczy się, gdy model nie mieści się na karcie i część trafia do RAM.

Google: Gemma 3 12B · Q4_K_M · NVIDIA GeForce RTX 4090

Za mało danych

Potrzebna pamięć
—
Spodziewana prędkość
—

Nie mamy jeszcze danych o warstwach tego modelu, więc pokazujemy tylko część szacunku.

Szacunek dla llama.cpp i podobnych aplikacji (LM Studio, Ollama). Prędkość dotyczy pisania odpowiedzi; w praktyce zależy od sterowników i ustawień.

Kwantyzacja zmniejsza model. Q4_K_M zachowuje większość jakości przy około jednej trzeciej pełnego rozmiaru. Kontekst to ile tekstu model trzyma w pamięci. Dłuższy kontekst potrzebuje więcej pamięci. Źródła: bity na wagę z llama.cpp, pamięć i przepustowość kart z Wikipedii (CC BY-SA 4.0) i danych producentów.