AI Llama.cpp Studio
Dein eigenes ChatGPT – lokal, privat und schnell. Eine moderne Web-Oberfläche für llama.cpp und GGUF-Modelle.
Dein eigenes ChatGPT – lokal, privat und schnell. Eine moderne Web-Oberfläche für llama.cpp und GGUF-Modelle.
AI Llama.cpp Studio setzt direkt auf llama-server auf und macht lokale Sprachmodelle komfortabel nutzbar: Antworten werden live gestreamt, Code wird hervorgehoben, Chats bleiben im Browser gespeichert. Keine Cloud, keine Tracker – deine Daten verlassen nie deinen Server. Läuft auf CPU oder GPU, per Docker in wenigen Minuten.
Alles, was du für die Arbeit mit lokalen Modellen brauchst.
Token für Token in Echtzeit, mit Tokens/s-Anzeige und Stopp-Button.
Saubere Darstellung mit Syntax-Highlighting und Kopier-Funktion.
Unterhaltungen werden lokal gespeichert und lassen sich jederzeit fortsetzen.
Temperatur, Top-P, Top-K, Min-P, Wiederholungsstrafe, Max. Tokens und Seed.
Fertige Profile nutzen oder eigene Einstellungen als Preset speichern.
Verbindung, geladenes Modell und Kontextgröße immer im Blick.
Chats als Markdown oder JSON exportieren – einzeln oder alle.
Compose-Setup, Download- und Start-Skripte für GGUF-Modelle inklusive.
Echte Aufnahmen der laufenden App mit Qwen2.5-3B-Instruct auf CPU.
In vier Befehlen zum eigenen KI-Chat.
# Repository klonen git clone https://git.85.190.126.179.sslip.io/crypto/llamacpp-studio.git cd llamacpp-studio && npm install # Modell herunterladen und llama-server starten npm run download -- Qwen/Qwen2.5-0.5B-Instruct-GGUF qwen2.5-0.5b-instruct-q4_k_m.gguf npm run start-server -- --model models/qwen2.5-0.5b-instruct-q4_k_m.gguf --ngl 99 # Studio starten npm run dev