llama.cpp

O motor por trás de quase toda IA local: roda LLMs em CPU, GPU e até Raspberry Pi.

O que é

O llama.cpp é uma implementação em C/C++ (MIT) para rodar modelos de linguagem com o formato GGUF. É a base de ferramentas como Ollama, LM Studio e Jan, e vem com CLI, servidor HTTP compatível com a API da OpenAI e uma interface web simples.

Pra que serve

• Rodar modelos abertos (Llama, Qwen, Gemma, DeepSeek) com o máximo de desempenho
• Subir um servidor local compatível com a API da OpenAI
• Quantizar modelos para caberem em pouca memória

Qual problema resolve

Rodar IA sem GPU cara: com quantização e otimizações para cada hardware, modelos grandes cabem em notebooks comuns.

Como instalar — Antes de começar

Depois, rode um modelo direto do Hugging Face com llama-server -hf e abra http://localhost:8080.

Como instalar — Windows

Instale pelo winget ou baixe o binário pronto na página de Releases do GitHub.

Como instalar — macOS

Instale pelo Homebrew. Em Macs com Apple Silicon ele usa o Metal automaticamente.

Como instalar — Linux

Instale pelo Homebrew (Linuxbrew) ou baixe o binário em Releases. Para GPU NVIDIA, compile com -DGGML_CUDA=ON.

winget install llama.cpp

brew install llama.cpp

llama-server -hf ggml-org/gemma-3-1b-it-GGUF

Acessar llama.cpp