Lokale KI-Modelle

Lokale KI-Modelle (26 Beiträge, 141 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Verwendet hier irgendjemand lokale Modelle (ausgenommen selbst trainierte) auf halbwegs erschwinglicher Hardware?

Mein Ersteindruck (qwen 3.8, Ollama + Deepseek Harness am M3 Mac mit 24GB) ist, dass die alle komplett nutzlos sind (bis ca. 27B Parameter probiert). Scheitern an einfachsten Aufgabenstellungen, abgesehen von kleineren Programmen und Fragestellungen. Habe auch nicht das Gefühl, dass z.B. ein Cluster aus 2 x DGX Spark deutlich besser wäre, damit laufen ja auch nicht mal die stark quantized Varianten der besseren Modelle.

----------------------------------------------------------------------------------------------------------

03.10.2026, 19:07 Uhr - Editiert von Lazy Jones, alte Version: hier

Wir haben mit Qwen 3.6 auf einem Mac Studio M4 begonnen. Inzwischen betreiben wir Qwen 3.8 auf einer DGX Spark (LM Studio, OpenCode als Agent). Die Geschwindigkeit könnte durchaus besser sein, aber vom Ergebnis sind wir nach dem Umstieg auf Qwen 3.8 schon schwer begeistert. Eine DGX Station ist schon bestellt...

vom Ergebnis sind wir nach dem Umstieg auf Qwen 3.8 schon schwer begeistert

Was macht ihr damit ca.? Code generieren?
----------------------------------------------------------------------------------------------------------

Code generieren, aber auch zugehörige Prozesse wie Deployment, UI-Tests (Playwright MCP), AI Code Reviews, Dokumentation schreiben, etc.

04.10.2026, 22:14 Uhr - Editiert von mko, alte Version: hier

Lokale Modelle bringens nicht. Die sind langsam und/oder teuer (Hardware & Strom) und können bei weitem nicht mit den aktuellen Frontier-Modellen mithalten. Und wenn man sich mit einem schlechten Modell zufrieden gibt, kann man gleich sowas wie Luna verwenden, die spottbillig und schnell sind.

Der Mehrwert von einem lokalen Modell ist, dass du die Datenhoheit hast. Du bestimmst ob und welche Daten deinen Rechner verlassen. Wem sowas wichtig ist, der muss halt die ganzen Nachteile in Kauf nehmen.

Lokale Modelle bringens nicht. Die sind langsam und/oder teuer (Hardware &
Strom)

Meine Hardware ist alt und abgeschrieben und eher zufällig vorhanden - als ich den Mac gekauft habe, hätte ich nie zu träumen gewagt, was heute möglich ist - das war noch vor dem "ChatGPT-Schock". Aber als alter Mac-User habe ich damit gerechnet, dass die Kisten eine sehr lange Nutzungsdauer haben und habe deshalb "etwas" mehr RAM reingespecced als damals unbedingt nötig gewesen wäre, weil architekturbedingt das RAM bei der Kiste nicht erweiterbar ist.

Der Mac wird, wenn die KI rechnet, gerade mal handwarm.

Für mich rechnet sich das alleine schon deshalb, weil ich ohne eigene Hardware vermutlich nie "ernsthaft" mit KI angefangen hätte rumzuexperimentieren. So sind mir die Token egal, ich verbrate die zum Spass.

Und wenn einem lieben Kollegen "auf Arbeit" wieder mal das Token-Kontingent ausgegangen ist, schmeisse ich den Codehaufen (XML Files mit embedded SQL, aus einem ranzigen ETL Framework) dem Agenten abends vor die Füsse und frage "warum ist der Dreck so langsam". Am nächsten Morgen hat er den ganzen Spaghetti durchanalysiert und ein paar - angeblich brauchbare - Verbesserungsvorschläge gemacht.

Und wenn einem lieben Kollegen "auf Arbeit" wieder mal das Token-Kontingent
ausgegangen ist, schmeisse ich den Codehaufen (XML Files mit embedded SQL, aus
einem ranzigen ETL Framework) dem Agenten abends vor die Füsse und frage
"warum ist der Dreck so langsam". Am nächsten Morgen hat er den ganzen
Spaghetti durchanalysiert und ein paar - angeblich brauchbare -
Verbesserungsvorschläge gemacht.

Deine lieben Kollegen sind offenbar unfähig.

Der Unterschied zwischen einem Frontier-Modell und so einem Sparmodell sind einfach wie Tag und Nacht. Die Arbeit, die ich mit Astra und Opus mache, könnte ich mit einem billigen Modell nie machen, die schaffen das einfach nicht in der Qualität. Ich müsste da sehr viel nacharbeiten und babysitten.

Ich mein, wenn die Situation ist, dass die Hardware zufällig eh schon da ist und man kaum Ansprüche hat, dann kann man mit einem lokalen Modell rumspielen. Aber ich könnt mit sowas nichts anfangen. Wenn man mal was besseres gewohnt ist, fühlt sich das wie ein gewaltiger Rückschritt an.

Und sich extra Hardware dafür anzuschaffen ist wie Geld verbrennen.

04.10.2026, 11:55 Uhr - Editiert von hellbringer, alte Version: hier

Deine lieben Kollegen sind offenbar unfähig.

Warum? Weil ihnen die Credits ausgehen?

Die Arbeit, die ich mit Astra und Opus mache, könnte ich mit einem billigen
Modell nie machen, die schaffen das einfach nicht in der Qualität.

Was machst du da, und woran machst du die Qualität fest? Ich schau dem Ding gelegentlich beim reasoning zu, bzw schaue in die Logs, und stelle belustigt fest, wie der Agent testet, Fehler findet, und nacharbeiten lässt.

Aber ich bin neugierig, noch am Lernen.

Der nächste schritt in deiner evolution könnte sein, die Vorschläge von der lokalen KI von den frontier modellen prüfen zu lassen.

Ich hab zwar von programmieren wenig Ahnung - bei mir alles nur Hobby - aber es kam öfter vor, dass ein Modell einen angeblich schwerwiegenden Fehler im Code vom anderen Modell gefunden hat. Nach ein paar mal hin und her waren alle Modelle glücklich.

Der nächste schritt in deiner evolution könnte sein, die Vorschläge von der
lokalen KI von den frontier modellen prüfen zu lassen.

Aber wozu? Luna kostet ein Nasenrammel und ich brauch keine Infrastruktur dafür aufsetzen.

Ich hab zwar von programmieren wenig Ahnung - bei mir alles nur Hobby - aber es
kam öfter vor, dass ein Modell einen angeblich schwerwiegenden Fehler im Code
vom anderen Modell gefunden hat. Nach ein paar mal hin und her waren alle
Modelle glücklich.

Da besteht die Aufgabe des Bedieners zu beurteilen, was wirklich schwerwiegende Fehler sind. Denn die Modelle finden auch schon mal mehr als sie sollten und beheben dann Probleme, die keine richtigen Probleme sind, aber führen damit immer mehr unnötige Komplexität in den Code ein.

beheben dann Probleme, die keine richtigen Probleme sind, aber führen damit
immer mehr unnötige Komplexität in den Code ein

Aber ist das denn überhaupt ein problem, wenn die KI versteht was sie da macht? Aus meiner Perspektive ist das so: Ich verstehe weder den Code den ein Mensch geschrieben hat, noch den der von der KI kommt.

Für mich zählt nur, dass die Software funktioniert. Verstehen werde ich sie so oder so nicht. Ich muss entweder dem menschlichen Entwickler oder der KI vertrauen. Wenn der code also komplex wird aber dafür edge cases abfängt: warum nicht?

Warum? Weil ihnen die Credits ausgehen?

Ja. Oder deren Chef ist ein Vollidiot, der sich nicht mit vernünftigen Argumenten überzeugen lässt. Den Mitarbeitern nicht genug Credits zu geben ist so als würde man einem Handwerker eine Augenklappe aufsetzen und einen Arm an den Rücken binden. Eigentlich sollten die Mitarbeiter darauf hinweisen, dass sie das an ihrer Arbeit behindert.

Was machst du da, und woran machst du die Qualität fest?

Software-Entwicklung und die Qualität bewerte ich großteils am Ergebnis, also den Code, sowie auch daran wie brauchbar die Antworten der KI sind. Und da merkt man deutliche Unterschiede, ob man mit einem GPT Luna, Sol oder gar Astra arbeitet.

Oder deren Chef ist ein Vollidiot

Ich werds dem Vorstand ausrichten. Angestelltenverhältnis ist eh überbewertet.

Im Ernst: Das wird schon. Ist aktuell noch Neuland, für alle. Im Haus wird fleissig experimentiert, auch agentic use cases sind schon im Entstehen. Spannende Zeit.

die Qualität bewerte ich großteils am Ergebnis, also den Code

Welche Kriterien machen für dich "guten Code" aus? Frage durchaus ernstgemeint, inwieweit das objektivierbar ist.

Im Übrigen habe ich beobachtet, dass das selbe LLM mit unterschiedlichen Agents/Harnesses unterschiedlich brauchbare Ergebnisse abliefert. System prompt ist eine Sache, aber auch Teststrategie und Upskilling.

Welche Kriterien machen für dich "guten Code" aus?

- Hat sich die KI an bestehende Code-Muster orientiert und existierende Tools verwendet anstatt lauter neuen Code rein zu schwurbeln.

- Wurde exakt das gemacht, was gefordert wurde, oder nebenbei noch andere Dinge angepasst oder dazu erfunden.

- Ist der Code so verständlich geschrieben, dass später auch noch ein Mensch sowie eine KI nachvollziehen kann, warum etwas so gemacht wurde wie es gemacht ist.

Das sind die Hauptpunkte, die mir dazu einfallen. Aber ich geh nicht jedesmal mit einer Strichliste durch, sondern ich schau über den Code drüber, ob er für mich gut ausschaut und ob ich es auch so oder so ähnlich gemacht hätte. Je öfter ich Code einfach durchwinken kann, umso mehr ist es eine Zeitersparnis für mich. Wenn ich ständig mehrere Korrekturrunden brauch, bis der Code wirklich passt, kostet mich das Zeit, und das ist eher bei schlechteren Models der Fall. Auch brauchen schlechtere Models oft länger für eine Aufgabe, weil sie permanent auf die Schnauze fliegen und sich selber korrigieren müssen.

Im Übrigen habe ich beobachtet, dass das selbe LLM mit unterschiedlichen
Agents/Harnesses unterschiedlich brauchbare Ergebnisse abliefert. System
prompt ist eine Sache, aber auch Teststrategie und Upskilling.

Das Harness spielt sogar eine sehr große Rolle. Ich verwende immer das Haus-Harness (also Codex bei OpenAI-Modellen sowie die Claude-App für Claude-Modelle), weil ich keine Lust/Zeit für Experimente habe und darauf vertraue, dass sie selber besser wissen, was ihre Modelle brauchen und wie sie die verwenden müssen.

Ich bin gerade bei Qwen3.8 Flash Next hängen geblieben, bis jetzt nur ein bisserl dummes Powerpoint, Code (experimentell, nix Ernstes und auch in keinem professionellen CICD Workflow) und ein paar Analysen "Warum ist dieser ETL Job Sch..." - Die Ergebnisse haben meine (nicht besonders hohen) Erwartungen weit übertroffen. Schnell ist er nicht, aber dafür muss er weder essen noch schlafen...

Hardware ist ein Mac Studio M1 Ultra mit 128 GB Ram, darauf Ollama und Hermes Agent.

Wir haben vor einigen Tagen eine Tischlerhand voll DGX Spark als Teststellung bekommen; falls du etwas ganz Konkretes getestet/ausprobiert haben moechtest - sag an, dann schau ich, ob ich das in den naechsten Tagen einschieben kann

--

echo "[q]sa[ln0=aln256%Pln256/snlbx]sb729901041524823122snlbxq"|dc

So long, and thanks for all the uptime!

eine Tischlerhand voll DGX Spark

Wie gut war der Tischler?

Und was tut ihr auf die Kisten drauf?

Die erste Herausforderung wird werden mehr als 3 zu clustern. Den 200gb qsfp switch hast du schon?

Edit: Und dann wirst du von der Geschwindigkeit schwer enttäuscht sein. Und vielleicht überrascht darüber, dass selbst mit 512gb ram noch keine frontier nahe Leistung möglich ist. Zumindest wenn man diversen Berichten zu solchen clustern glauben darf.

04.10.2026, 14:21 Uhr - Editiert von kaufinator1, alte Version: hier

Die erste Herausforderung wird werden mehr als 3 zu clustern. Den 200gb qsfp
switch hast du schon?

Wieso, das ist doch gut dokumentiert?

https://build.nvidia.com/spark/multi-sparks-through-switch/multi-sparks

----------------------------------------------------------------------------------------------------------

Wenn du alle Komponenten hast, ist es natürlich nicht schwer zu konfigurieren. Aber den 200gigabit switch mit den passenden kabeln hat man nicht einfach so rumliegen. Und billig ist dieses Zubehör auch nicht.

Abgesehen davon ist es, wie gesagt, fraglich, ob sich der Aufwand lohnt, weil das setup langsam, teuer und trotzdem nicht frontier ist.

Ich hab qwen modelle um die 27B auf einem m4max mit 48gb unified memory ausprobiert. Dort passen die gerade noch rein. Sie sind schon nicht schlecht aber weit von frontier weg. Ich verwende sie primär als classifier (zB e-mail wichtig, phishing, oder unwichtig?). Für den einsatz werd ich aber voraussichtlich auf clef umsteigen, sobald es besser wird.

Wenn du frontier-nahe leistung willst, brauchst du 3 m5 ultra mit mindestens 1.5GB unified memory. Und dann bist du vermutlich in der gegend von €60-70k. Genau weiss man es erst wenn apple die 512gb Variante verkauft.

Also nein. Billig und gut gibts derzeit nicht.

Edit: falls du dir überlegst dgx spark zu kaufen, musst du schnell sein: https://www.pcmag.com/news/facing-memory-crunch-nvidia-creates-64gb-rtx-spark-it-still-costs-4999

Die nächste von Nvidia vorgestellte Version bietet: Höhereren Preis und halbierten Speicher.

04.10.2026, 16:09 Uhr - Editiert von kaufinator1, alte Version: hier

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung