Kann eine lokale KI auf einem normalen Rechner mit großen Online-Diensten mithalten? Das Video von c't 3003 beantwortet die Frage mit eigenen Tests aktueller offener Sprachmodelle. Seine wichtigste Botschaft ist plausibel: Für viele Aufgaben ist lokale KI inzwischen erstaunlich leistungsfähig. Aus einzelnen Benchmark-Plätzen, Speicherangaben und Messwerten lässt sich aber keine allgemeine Rangliste für jeden Anwendungsfall ableiten.
Das Wichtigste in Kürze
Ein 27-Milliarden-Parameter-Modell benötigt in voller 16-Bit-Darstellung grob mehr als 50 Gigabyte nur für seine Gewichte. Durch Quantisierung kann der Platzbedarf deutlich sinken; Qualität und Geschwindigkeit hängen dabei von Format, Laufzeit, Hardware und Aufgabe ab. Die offizielle Dateiliste von Qwen3.8-27B umfasst rund 55,6 Gigabyte, während eine 4-Bit-Fassung in die Größenordnung einer 24-Gigabyte-Grafikkarte kommen kann. Ob sie dort einschließlich Kontext und Laufzeit-Overhead vollständig Platz findet, ist eine zweite Frage.
1. Passt Qwen3.8-27B wirklich auf eine 24-GB-Grafikkarte?
Urteil: teilweise richtig. Das Video zeigt das Modell auf einer GeForce RTX 3090. Nvidia nennt für diese Karte 24 Gigabyte Grafikspeicher. Ein 4-Bit-quantisiertes 27B-Modell kann in diese Größenordnung schrumpfen. Zusätzlich zu den Gewichten benötigt die Laufzeit jedoch Speicher für Kontext, Zwischenergebnisse und Verwaltungsdaten. Deshalb ist „läuft mit 24 GB“ als getestete Konfiguration plausibel, nicht als Garantie für jede Quantisierung und jede Kontextlänge.
2. Was sagen öffentliche KI-Ranglisten?
Urteil: nur als Momentaufnahme belastbar. Im Video werden konkrete Plätze und ein Wert von 52 Punkten genannt. Artificial Analysis dokumentiert, dass sein Intelligence Index mehrere englischsprachige, textbasierte Evaluationen kombiniert. Die Methodik ist nachvollziehbar, Rankings ändern sich aber mit neuen Modellen, Versionen und Testreihen. Ein Platz an einem bestimmten Tag beschreibt nicht automatisch Qualität auf Deutsch, bei langen Dokumenten oder in einem speziellen Arbeitsablauf.
3. Halluzinierte das Modell bei Bundespräsidenten?
Urteil: ja. Das getestete Modell ordnete Horst Köhler im Video der FDP zu und behauptete, Karl Carstens sei im Amt gestorben. Die offiziellen Biografien des Bundespräsidialamts widersprechen beidem: Horst Köhler gehörte seit 1981 der CDU an. Karl Carstens schied 1984 aus dem Amt und starb am 30. Mai 1992. Das Beispiel belegt einen konkreten Fehler, aber keine allgemeine Fehlerquote des Modells.
4. Ist Qwen3.6-35B-A3B trotz 35 Milliarden Parametern sparsamer?
Urteil: im Kern richtig. Laut offizieller Modellkarte besitzt das Modell insgesamt 35 Milliarden Parameter, aktiviert pro Token aber nur ungefähr drei Milliarden. Die Mixture-of-Experts-Architektur reduziert Rechenarbeit gegenüber einem gleich großen dichten Modell. Sie macht die übrigen Gewichte jedoch nicht unsichtbar: Auch inaktive Experten müssen gespeichert oder nachgeladen werden. Eine pauschale 16-GB-Empfehlung gilt daher nur zusammen mit konkreter Quantisierung, Kontextlänge und Laufzeit.
5. Wie verlässlich ist 4-Bit-Quantisierung?
Urteil: überwiegend richtig, nicht universell. Quantisierung speichert Modellgewichte mit weniger Bits und verringert dadurch den Speicherbedarf. Ein Quesma-Vergleich mit Qwen3.6-27B fand bei vier Bit und höher in den dort verwendeten Tests kaum messbare Abweichungen, bei drei Bit einen Grenzbereich und bei zwei Bit deutlichere Verluste. Das ist ein nützlicher Befund, aber kein Beweis für alle Modelle, Sprachen und Aufgaben. Anspruchsvolle Fachfragen können empfindlicher reagieren als die eingesetzten Benchmarks.
6. Warum brauchen Modelle wie Kimi K3 so viel Speicher?
Urteil: Größenordnung plausibel, exakter Laufzeitwert offen. Die offizielle Kimi-K3-Modellkarte nennt 2,8 Billionen Gesamtparameter und 104 Milliarden aktivierte Parameter. Selbst bei kompakten Formaten ist das eine andere Hardwareklasse als ein 27B-Modell. Die im Video genannte Laufzeitbelegung von ungefähr 1,6 Terabyte einschließlich Kontext stammt aus dem konkreten Testaufbau und lässt sich aus der Modellkarte allein nicht bestätigen.
7. Reichen acht RTX Pro 6000 für 768 GB schnellen Speicher?
Urteil: rechnerisch richtig. Nvidia spezifiziert die RTX Pro 6000 mit 96 Gigabyte Grafikspeicher. Acht Karten ergeben nominell 768 Gigabyte. Daraus folgt jedoch nicht, dass ein Modell mit 768 Gigabyte Bedarf automatisch problemlos läuft: Verteilung, Kommunikationsaufwand, Kontext-Cache, Software und Reservebedarf zählen mit.
8. Sind die Speicher- und Punktangaben zu GLM5.2 allgemein gültig?
Urteil: nicht abschließend überprüfbar. Die Existenz und Architektur des Modells sind durch die offizielle Modellseite belegt. Die im Video genannten ungefähr 450 Gigabyte Laufzeitspeicher und der Abstand von zwei Benchmark-Punkten hängen aber von Quantisierung, Kontext, Softwareversion und dem Zeitpunkt der Rangliste ab. Sie sollten als Mess- und Snapshotwerte des Videos gekennzeichnet werden.
9. Bedeutet lokale Ausführung automatisch Datenschutz?
Urteil: nur bei sauberer Konfiguration. Wenn Modell, Eingaben und Ausgaben ausschließlich auf eigener Hardware verarbeitet werden und keine Telemetrie oder externen Werkzeuge Daten senden, sinkt die Abhängigkeit von einem Cloud-Anbieter. Ein offen erreichbarer Inferenzserver kann diesen Vorteil jedoch zunichtemachen. Die vLLM-Sicherheitsdokumentation warnt ausdrücklich, dass ein API-Schlüssel nicht jeden Endpunkt schützt. Firewall, Zugriffsbeschränkung, Reverse Proxy und gegebenenfalls VPN bleiben notwendig.
10. Sind lokale Geschwindigkeitswerte übertragbar?
Urteil: nicht ohne Testdetails. Die im Video genannten Tokenraten und der Vergleich zwischen Ollama und vLLM sind reale Beobachtungen des Autors, aber kein allgemeiner Leistungstest. Treiber, Batch-Größe, Parallelisierung, Quantisierung, Länge der Eingabe und die Verbindung zwischen mehreren Rechnern beeinflussen das Ergebnis. Ohne reproduzierbare Konfiguration sollte niemand daraus einen garantierten Geschwindigkeitsfaktor ableiten.
11. Verweigert Qwen politische Fragen?
Urteil: als beobachteter Einzelfall plausibel. Das Video zeigt eine verweigerte Antwort auf eine Frage zum Tiananmen-Platz. Solches Verhalten kann sich mit Modellversion, Systemvorgabe, Quantisierung und Sprachwahl ändern. Der Test belegt das Verhalten in dieser Sitzung, nicht eine unveränderliche Eigenschaft jedes Qwen-Modells. Für sensible Anwendungen empfiehlt sich eine eigene Testsuite mit dokumentierten Eingaben.
Fazit
Lokale KI ist keine bloße Bastellösung mehr. Ein sorgfältig ausgewähltes und quantisiertes Modell kann auf vorhandener Hardware nützlich arbeiten und sensible Daten lokal halten. Das Video ist besonders stark, wenn es reale Grenzen zeigt: Speicher ist nicht gleich Modellgewicht, Ranglisten sind Momentaufnahmen und gute Antworten schließen Halluzinationen nicht aus. Schwächer sind exakte Rang-, Speicher- und Geschwindigkeitszahlen, sobald Testaufbau oder Zeitpunkt fehlen. Für eine Kaufentscheidung sollten deshalb Modellkarte, eigene Aufgaben, reproduzierbare Messungen und die Gesamtkosten gemeinsam betrachtet werden.