Jahrelang habe ich gesagt: Lokale KI auf Verbraucherhardware ist meistens nicht die Zeit wert, um sie zu testen. Enttäuschung und Wartezeit. Bis diese Woche – zwei neue Varianten liefern wirklich gut ab, und meine Meinung hat sich geändert.
Der Preisvorteil ist enorm: umsonst, privat und auf eigener Hardware – während das führende Cloud-Modell sechzig Dollar pro Million Token kostet.
Der Wandel seit August 2026
Bis August war lokale KI auf Verbraucherhardware meist ein Kompromiss. Zwei neue Modell-Varianten machen daraus eine echte Option – für zwölf wie für vierundzwanzig Gigabyte Grafikspeicher.
Zwei Modelle ändern die Rechnung
Qwen 3.8 – das dichte Modell
Für alle mit einer modernen Grafikkarte mit 24 GB Speicher. Liefert Qualität, für die man bei Cloud-Anbietern pro Token bezahlt.
Ornith 1.5 – die Überraschung
35 Milliarden Parameter, aber nur 3 Milliarden werden pro Anfrage geladen. Dank Expertentechnologie läuft es sogar auf einer 12-GB-Karte, die vor fünf Jahren veraltet war.
Ohne Cloud-Rechenzentrum
Komplett umsonst auf der eigenen Hardware, privat und ohne Abo. Die Daten verlassen den eigenen Rechner nicht.
Experten-Technologie einfach erklärt
Mein Lieblingsvergleich: Du fragst ja auch nicht deine Mutter, was gerade Trend ist – und deinen Partner nicht nach deiner Kindheit. Beide sind Experten für unterschiedliche Bereiche, und genau so arbeitet ein Expertenmodell: Nicht das ganze Wissen ist immer aktiv, sondern nur der Teil, den die Anfrage braucht. Deshalb passt ein 35-Milliarden-Parameter-Modell in den Speicher einer alten 12-GB-Karte.
Wie so ein Aufbau mit zwei gebrauchten Karten im Alltag aussieht, beschreibe ich im Artikel „Qwen 3.8 the cheap way“.
Zeitverschwendung oder größter Wandel seit Jahren?
Das Video erklärt die Expertentechnologie mit Mutter, Partner und einer Alltagsfrage – und lässt am Ende die entscheidende Frage offen: Wie ist deine Erfahrung mit lokaler KI?
➡️ Alle Inhalte des eingebetteten Videos wurden mit KI erstellt.