llama.cpp

10 Mart 2023'te Georgi Gerganov, llama.cpp'nin ilk commit'ini GitHub'a gönderdi. C ve C++ ile yazılan kütüphane, tek bir şeyi amaçlıyordu: Meta'nın LLaMA modellerini GPU olmadan bir dizüstü bilgisayar CPU'sunda çalıştırmak. Haftalar içinde binlerce yıldız ve yeteneklerini daha da ileriye taşıyan büyüyen bir geliştirici topluluğu kazandı.

Temel yenilik nicelemedir. GGUF formatını kullanarak model ağırlıklarını 32-bit kayan noktadan 4-bit veya 8-bit tamsayılara sıkıştırarak llama.cpp bellek gereksinimlerini yüzde 75 veya daha fazla azaltır. Bir GPU'da 28 GB VRAM gerektirecek 7 milyar parametreli bir model, 6 GB'ın altında sistem RAM'inde çalışabilir. GGUF formatı ayrıca tokenizer, kelime dağarcığı ve sohbet şablonunu tek bir dosyada birleştirerek model dağıtımını basitleştirir.

llama.cpp olağanüstü geniş bir donanım yelpazesini destekler: AVX2 ile x86 CPU'lar, Metal aracılığıyla Apple Silicon, CUDA ile NVIDIA GPU'lar, hipBLAS ile AMD GPU'lar, SYCL ile Intel GPU'lar ve hatta Vulkan. Proje, hafif bir HTTP sunucusunun yanı sıra üretim, karşılaştırma ve model dönüştürme için komut satırı araçları sunar. 2025 itibarıyla 900'den fazla katılımcı ve 69.000 GitHub yıldızına sahiptir. Ollama ve LM Studio gibi araçlar doğrudan llama.cpp üzerine inşa edilerek teknik olmayan kullanıcıların yerel LLM çıkarımına erişmesini sağlar. Kütüphane, tüketici donanımında büyük dil modelleri çalıştırmak için fiili standart haline gelmiş, bulut bağımlılıkları olmadan özel, uygun maliyetli AI deneylerine olanak tanımıştır.[düzenle]