Lokaler Coding-Agent

Ein vollständiger Programmier-Assistent für den eigenen PC. Das Sprachmodell rechnet auf der Grafikkarte im Rechner, nicht bei einem Anbieter — es gibt kein Konto, keine Abrechnung nach Anfragen und keine Datei, die dabei nach außen geht.

Eingerichtet wird alles mit einem einzigen Aufruf. Das Setup prüft zuerst, ob der Rechner geeignet ist, lädt dann Programm und Modell, richtet die Dienste ein — und weist am Ende nach, dass wirklich die Grafikkarte rechnet und nicht unbemerkt der Prozessor.

Dazu gehört eine Oberfläche zum Starten, Stoppen und Umkonfigurieren, ein Wächter, der abgestürzte Dienste neu hochzieht, und ein Vorschaltdienst, der erkennt, wenn der Assistent sich im Kreis dreht, und ihn dann zum Umdenken zwingt.

llama.cpp mit einem 27B-Modell auf der Grafikkarte, Goose als Bedienoberfläche, Qdrant als Gedächtnis. Einrichtung und Betrieb über PowerShell, alles in Docker beziehungsweise lokal.