Lokale KI-Modelle

Lokale KI-Modelle (50 Beiträge, 199 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Verwendet hier irgendjemand lokale Modelle (ausgenommen selbst trainierte) auf halbwegs erschwinglicher Hardware?

Mein Ersteindruck (qwen 3.8, Ollama + Deepseek Harness am M3 Mac mit 24GB) ist, dass die alle komplett nutzlos sind (bis ca. 27B Parameter probiert). Scheitern an einfachsten Aufgabenstellungen, abgesehen von kleineren Programmen und Fragestellungen. Habe auch nicht das Gefühl, dass z.B. ein Cluster aus 2 x DGX Spark deutlich besser wäre, damit laufen ja auch nicht mal die stark quantized Varianten der besseren Modelle.

----------------------------------------------------------------------------------------------------------

03.10.2026, 19:07 Uhr - Editiert von Lazy Jones, alte Version: hier

Re: Lokale KI-Modelle

(mko am 03.10.2026, 21:26:38)

Re(2): Lokale KI-Modelle (Lazy Jones am 04.10.2026, 00:40:19)

Re(3): Lokale KI-Modelle

(mko am 04.10.2026, 21:59:57)

Re: Lokale KI-Modelle (hellbringer am 04.10.2026, 10:40:28)

Re(2): Lokale KI-Modelle (hhetl am 04.10.2026, 11:14:45)

Re(3): Lokale KI-Modelle (hellbringer am 04.10.2026, 11:51:42)

Re(4): Lokale KI-Modelle (hhetl am 04.10.2026, 14:21:31)

Re(5): Lokale KI-Modelle (kaufinator1 am 04.10.2026, 16:44:17)

Re(6): Lokale KI-Modelle (hellbringer am 04.10.2026, 20:05:51)

Re(7): Lokale KI-Modelle

(kaufinator1 am 05.10.2026, 08:20:34)

Re(8): Lokale KI-Modelle (hellbringer am 05.10.2026, 11:15:41)

Re(8): Lokale KI-Modelle (Paulas_Papa am 05.10.2026, 14:36:58)

Re(9): Lokale KI-Modelle (kaufinator1 am 05.10.2026, 14:55:36)

Re(10): Lokale KI-Modelle (Paulas_Papa am 05.10.2026, 15:37:59)

Re(10): Lokale KI-Modelle (Paulas_Papa am 05.10.2026, 18:23:33)

Re(11): Lokale KI-Modelle (kaufinator1 am 05.10.2026, 21:24:20)

Re(10): Lokale KI-Modelle (someonelikeme am 05.10.2026, 18:34:41)

Re(11): Lokale KI-Modelle (kaufinator1 am 05.10.2026, 21:23:26)

Re(5): Lokale KI-Modelle (hellbringer am 04.10.2026, 20:00:56)

Re(6): Lokale KI-Modelle (hhetl am 05.10.2026, 00:05:41)

Re(7): Lokale KI-Modelle (hellbringer am 05.10.2026, 10:40:34)

Re(8): Lokale KI-Modelle (Desolationrob am 05.10.2026, 16:05:14)

Re(9): Lokale KI-Modelle (hellbringer am 05.10.2026, 16:33:08)

Re: Lokale KI-Modelle (hhetl am 04.10.2026, 10:55:32)

Re: Lokale KI-Modelle (colo am 04.10.2026, 11:53:21)

Re(2): Lokale KI-Modelle (hhetl am 04.10.2026, 11:56:47)

Re(2): Lokale KI-Modelle (kaufinator1 am 04.10.2026, 14:10:01)

Re(3): Lokale KI-Modelle (Lazy Jones am 05.10.2026, 02:03:14)

Re(4): Lokale KI-Modelle

(kaufinator1 am 05.10.2026, 08:09:12)

Re(5): Lokale KI-Modelle (Lazy Jones am 05.10.2026, 12:44:26)

Re(6): Lokale KI-Modelle (hhetl am 05.10.2026, 12:59:37)

Re(7): Lokale KI-Modelle (Lazy Jones am 05.10.2026, 13:23:50)

Re(8): Lokale KI-Modelle (hhetl am 05.10.2026, 14:05:52)

Re(6): Lokale KI-Modelle (Paulas_Papa am 05.10.2026, 13:27:21)

Re(7): Lokale KI-Modelle (Lazy Jones am 05.10.2026, 13:45:43)

Re(8): Lokale KI-Modelle (Paulas_Papa am 05.10.2026, 14:03:03)

Re(8): Lokale KI-Modelle (hhetl am 05.10.2026, 14:08:58)

Re(8): Lokale KI-Modelle (kaufinator1 am 05.10.2026, 14:10:20)

Re(8): Lokale KI-Modelle (scientificallyilliterate am 05.10.2026, 14:56:56)

Re(6): Lokale KI-Modelle (kaufinator1 am 05.10.2026, 14:09:07)

Re: Lokale KI-Modelle

(kaufinator1 am 04.10.2026, 13:30:00)

Verwendet hier irgendjemand lokale Modelle (ausgenommen selbst trainierte) auf halbwegs erschwinglicher Hardware?

Mein Ersteindruck (Ollama + Deepseek Harness am M3 Mac mit 24GB) ist, dass die alle komplett nutzlos sind (bis ca. 27B Parameter probiert). Scheitern an einfachsten Aufgabenstellungen. Habe auch nicht das Gefühl, dass z.B. ein Cluster aus 2 x DGX Spark deutlich besser wäre, damit laufen ja auch nicht mal die stark quantized Varianten der besseren Modelle.

----------------------------------------------------------------------------------------------------------

[ Dieser Beitrag wurde inzwischen editiert. Die aktuelle Version befindet sich hier. ]

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung