Roda no meu PC?

Veja se Llama, Qwen, Gemma ou Bielik roda na sua placa de vídeo, quanta memória ocupa e mais ou menos com que velocidade responde.

Usado quando o modelo não cabe na placa e parte dele vai para a RAM.

Ainda não há modelos locais

A lista de modelos com pesos públicos é preenchida após a atualização diária do Hugging Face.

Quantização reduz o modelo. Q4_K_M mantém a maior parte da qualidade com cerca de um terço do tamanho total. Contexto é quanto texto o modelo mantém em mente. Mais contexto precisa de mais memória. Fontes: bits por peso do llama.cpp, memória e largura de banda das placas da Wikipédia (CC BY-SA 4.0) e dos fabricantes.