Das Ziel von llama.cpp ist die Ausführung von LLMs mit minimaler Einrichtung und herausragender Leistung auf verschiedenen Hardware. Es unterstützt mehrere Quantisierungsstufen und bietet eine native C/C++-Implementierung ohne Abhängigkeiten. Optimiert für Apple Silicon und mit Unterstützung für NVIDIA und AMD GPUs. Ideal für lokale sowie Cloud-Anwendungen.