Lokale KI-Modelle

Lokale KI-Modelle (13 Beiträge, 71 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Verwendet hier irgendjemand lokale Modelle (ausgenommen selbst trainierte) auf halbwegs erschwinglicher Hardware?

Mein Ersteindruck (qwen 3.8, Ollama + Deepseek Harness am M3 Mac mit 24GB) ist, dass die alle komplett nutzlos sind (bis ca. 27B Parameter probiert). Scheitern an einfachsten Aufgabenstellungen, abgesehen von kleineren Programmen und Fragestellungen. Habe auch nicht das Gefühl, dass z.B. ein Cluster aus 2 x DGX Spark deutlich besser wäre, damit laufen ja auch nicht mal die stark quantized Varianten der besseren Modelle.

----------------------------------------------------------------------------------------------------------

03.10.2026, 19:07 Uhr - Editiert von Lazy Jones, alte Version: hier

Re: Lokale KI-Modelle

(mko am 03.10.2026, 21:26:38)

Re(2): Lokale KI-Modelle (Lazy Jones am 04.10.2026, 00:40:19)

Re: Lokale KI-Modelle (hellbringer am 04.10.2026, 10:40:28)

Re(2): Lokale KI-Modelle (hhetl am 04.10.2026, 11:14:45)

Re(3): Lokale KI-Modelle (hellbringer am 04.10.2026, 11:51:42)

Re: Lokale KI-Modelle (hhetl am 04.10.2026, 10:55:32)

Re: Lokale KI-Modelle (colo am 04.10.2026, 11:53:21)

Re(2): Lokale KI-Modelle (hhetl am 04.10.2026, 11:56:47)

Re(2): Lokale KI-Modelle (kaufinator1 am 04.10.2026, 14:10:01)

Re: Lokale KI-Modelle (kaufinator1 am 04.10.2026, 13:30:00)

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung