Eine Ausgabe von c’t 4004 diskutiert Qwen3.8-27B als überraschend leistungsfähiges lokales KI-Modell. Im Mittelpunkt stehen Speicherbedarf, Benchmarkwerte, Tool-Nutzung und die Frage, ob kleinere offene Modelle teure Cloudsysteme verdrängen. Später wird daraus eine Debatte über unzensierte Varianten und Cyberrisiken.
Wir haben den vollständigen Originalton in 16 Zeitfenstern geprüft und mit Modellkarten, Hardwaredokumentation, der aktuellen Benchmarkmethodik sowie Sicherheitsquellen abgeglichen. Das Grundbild stimmt: Qwen3.8-27B bringt viel Leistung auf lokale High-End-Hardware. Mehrere Zahlen und Schlussfolgerungen brauchen jedoch Bedingungen. Besonders wichtig sind die Unterschiede zwischen Gesamtparametern, aktiven Parametern, Quantisierung und tatsächlich verfügbarem Speicher.
Auch „lokal“ bedeutet nicht automatisch einfach, günstig oder sicher. Eine Datei kann in den Grafikspeicher passen und dennoch kaum Platz für lange Kontexte lassen. Ein Benchmark kann Agentenleistung messen und dennoch nicht jede Alltagsaufgabe abbilden. Und ein Modell mit Terminalzugriff kann nützlich sein, aber auch Fehler in reale Systemaktionen übersetzen. Der Faktencheck trennt deshalb technische Eigenschaften, beobachtete Praxiserfahrung und Zukunftsprognose.
Für die Speicherangaben unterscheiden wir vier Ebenen: die mathematische Untergrenze der Gewichte, die Größe einer konkreten Quantisierungsdatei, den Speicherverbrauch der laufenden Software und den zusätzlichen KV-Cache für den Kontext. Wenn nur eine dieser Ebenen genannt wird, können zwei scheinbar widersprüchliche Aussagen gleichzeitig stimmen. Ein Modell kann als Datei unter 20 Gigabyte bleiben, während eine komfortable Sitzung dennoch mehr Grafikspeicher oder eine Auslagerung in den Hauptspeicher verlangt.
Bei Leistungswerten gilt dasselbe Prinzip. Ein transparenter Benchmark beantwortet eine klar begrenzte Frage unter festgelegten Bedingungen. Er ersetzt weder einen Praxistest mit den eigenen Daten noch eine Sicherheitsprüfung der angeschlossenen Werkzeuge. Deshalb werten wir Herstellerangaben als Beleg für Architektur, nicht automatisch für jede Laufzeitbehauptung; Community-Quantisierungen belegen konkrete Dateien, aber keine universelle Qualitätsstufe.
Modellgröße und Speicher
1. Qwen3.8-27B ist ein dichtes Modell
Urteil: richtig mit Präzisierung. Die offizielle Modellkarte nennt 27 Milliarden Parameter, eine dichte Architektur und native Bild-Text-Verarbeitung. „Sprachmodell“ ist im Gespräch verständlich, aber technisch unvollständig. Die Karte nennt außerdem ein natives Kontextfenster von 262.144 Tokens und Erweiterungen bis zu einer Million; großer Kontext erhöht den Speicherbedarf zusätzlich.
2. Das Max-Modell mit 2,4 Billionen Parametern
Urteil: richtig, aber unvollständig. Qwen nennt für Max 2,4 Billionen Gesamtparameter und 95 Milliarden aktive Parameter pro Schritt. Bei einer Mixture-of-Experts-Architektur arbeitet nur ein Teil gleichzeitig. Der Vergleich „2,4 Billionen gegen 27 Milliarden“ ist daher real, aber nicht direkt ein Maß für Rechenkosten oder Antwortqualität. Die Herstellerseite weist beide Größen aus.
3. Kimi hat nicht 1,5 Billionen Parameter
Urteil: für Kimi K3 falsch. Das offizielle Kimi-K3-Repository dokumentiert 2,8 Billionen Gesamt- und 104 Milliarden aktive Parameter. Welche ältere oder andere Variante gemeint war, sagt der Originalton nicht. Außerdem dürfen dichte Parameter, Gesamtparameter und aktive Expertenparameter nicht als dieselbe Messgröße behandelt werden.
4. Vier-Bit-Gewichte mit 18 bis 19 Gigabyte
Urteil: plausible Konfigurationsangabe. Reine Vier-Bit-Werte für 27 Milliarden Parameter wären rechnerisch etwa 13,5 Gigabyte. Praktische Dateien enthalten Skalen, Metadaten und andere Komponenten. Die Community-Quantisierungen zeigen je nach Variante unterschiedliche Größen. Deshalb ist die Spanne plausibel, aber kein universeller Wert für jede Q4-Datei.
5. Passt Qwen3.8 als NVFP4-Paket auf 16 Gigabyte?
Urteil: nicht überprüfbar.NVIDIA dokumentiert NVFP4 als Blackwell-optimiertes Vier-Bit-Format. Die offizielle Qwen-Modellkarte veröffentlicht jedoch kein modellspezifisches NVFP4-Artefakt und keine 16-GB-Laufzeitmessung; die verlinkten GGUF-Dateien sind andere Quantisierungsformate. Rechnerisch ist ein knappes Gewichtspaket plausibel. Praktisch bestätigen ließe sich der Satz erst mit konkreter Datei, Dateigröße, Blackwell-Hardware und dokumentiertem Kontext. KV-Cache und Laufzeitpuffer benötigen zusätzlichen Speicher.
6. Betrieb auf einer RTX 3090
Urteil: als Praxiserfahrung richtig. Die RTX 3090 besitzt laut Hersteller 24 Gigabyte GDDR6X. Damit ist ein geeignet quantisiertes 27B-Modell realistisch. Ob es „gut“ läuft, hängt von Format, Kontext, Software, Promptlänge und gewünschter Geschwindigkeit ab. Eine erfolgreiche lokale Vorführung ist keine Garantie für jede Installation.
7. CPU und normaler RAM
Urteil: im Kern richtig. llama.cpp unterstützt CPU-Inferenz und die Verteilung von Modellteilen zwischen Haupt- und Grafikspeicher. Dadurch kann Qwen auch ohne vollständige GPU-Residenz starten. Die Einschränkung im Podcast ist zentral: Es kann so langsam werden, dass es praktisch keinen Spaß macht. „Lauffähig“ und „alltagstauglich“ sind zwei verschiedene Qualitätsstufen.
Benchmarks, Wissen und Werkzeuge
8. Intelligence Index 52 gegen 43
Urteil: zeitpunktbezogen, nicht zeitlos. Ein Live-Ranking verändert sich mit Modellversion, Testfassung und Rechenbudget. Der genannte Vergleich war als Momentaufnahme im Gespräch kenntlich, wird ohne Datum aber schnell missverständlich. Ein Punktwert bedeutet außerdem nicht, dass ein Modell generell um einen festen Prozentsatz „intelligenter“ ist. Er aggregiert definierte Aufgaben mit festgelegten Gewichten.
9. Neun Tests, aber nicht alle mit Tools
Urteil: teilweise falsch. Die aktuelle Methodik v4.1.1 umfasst neun Evaluationen; AA-Omniscience trägt zwölf Prozent bei. Der Satz, alle anderen Tests ließen Tools zu, stimmt nicht. Tool-Nutzung prägt vor allem den Agentenanteil. Mehrere Coding-, Wissenschafts- und Allgemeinaufgaben prüfen Antworten ohne frei verfügbares Web oder Terminal.
10. Vier Fehler bei Bundespräsidenten
Urteil: anekdotisch. Der Originalton berichtet von einem Test ohne Netzzugang, bei dem Namen, Parteien oder Amtsumstände falsch gewesen seien. Ohne gespeicherten Prompt, vollständige Ausgabe, Samplingparameter und Wiederholungen ist dieser Einzelfall nicht reproduzierbar dokumentiert und kein allgemeiner Fehlerratentest. Er illustriert eine mögliche Grenze: Auch moderne offene Gewichte können bei scheinbar einfachen Wissensfragen überzeugend halluzinieren.
11. Tools helfen, garantieren aber keine Wahrheit
Urteil: richtig mit Sicherheitsvorbehalt. Ein Modell kann Unsicherheit erkennen, suchen und eine aktuellere Quelle heranziehen. Es kann zugleich eine ungeeignete Seite auswählen, Suchtreffer falsch zusammenfassen oder schädlichen Anweisungen aus Webinhalten folgen. Eine Quellenangabe und ein überprüfbarer Abrufpfad verbessern die Lage; sie ersetzen keine Bewertung der Quelle und keine Kontrolle wichtiger Ergebnisse.
12. Lokale KI gegen Rechenzentren
Urteil: spekulative Zuspitzung. Ein starkes 27B-Modell kann Datenschutz, Offlinebetrieb und Kosten einzelner Aufgaben verbessern. Training, massenhafte gleichzeitige Nutzung, lange Kontexte und Spitzensysteme benötigen dennoch große Infrastruktur. Qwen3.8 verändert den wirtschaftlichen Vergleich, widerlegt aber nicht automatisch Investitionen in Rechenzentren. Dafür wären belastbare Kosten-, Energie- und Nutzungsdaten über konkrete Aufgaben nötig.
Offene Gewichte und Sicherheit
13. Ein Modell auf der Festplatte ist nicht automatisch unregulierbar
Urteil: zu absolut. Bereits gespeicherte Dateien lassen sich technisch kaum vollständig zurückholen. Der EU AI Act zeigt zugleich, dass das Inverkehrbringen, die Inbetriebnahme und die Nutzung erfasster KI-Systeme rechtlich geregelt werden können. Die Verordnung enthält Anwendungsgrenzen und Ausnahmen; ob eine konkrete private oder berufliche Nutzung erfasst ist, muss deshalb separat geprüft werden. Technische Persistenz, bloßer Besitz und rechtliche Unregulierbarkeit sind unterschiedliche Aussagen.
14. Abliteration und ein bis drei Prozent Verlust
Urteil: Methode real, Prozentzahl unbelegt. Die Forschungsarbeit zur Refusal-Richtung zeigt, dass Verweigerungsverhalten über eine lineare Richtung beeinflusst werden kann. Sie begründet aber keine universelle Aussage, jedes „uncensored“ Modell verliere nur ein bis drei Prozent Qualität. Das hängt von Modell, Eingriff, Evaluationssatz und betrachteter Fähigkeit ab.
15. Cyberrisiko: real, „Gamechanger“ nicht belegt
Urteil: Risiko real, Einzelfazit unbelegt. Der AISI-Bericht beschreibt steigende Cyberfähigkeiten und die Doppelverwendung für Angriff wie Verteidigung. Die im Podcast referierte Reddit-Analyse enthält jedoch keinen transparenten, reproduzierbaren Testaufbau. Sie belegt deshalb weder eine autonome Root-Übernahme noch einen quantifizierten Sprung speziell durch Qwen3.8-27B.
16. Sandbox und minimale Rechte
Urteil: richtige Sicherheitsregel. Tool-fähige Agenten können Dateien lesen, Befehle ausführen und Netzdienste ansprechen. Deshalb sollten sie isoliert, mit geringsten Rechten, begrenzten Zielen und Protokollierung laufen. Die Sicherheitshinweise von llama.cpp und das NIST-Profil stützen diese Schichten. Für produktive Systeme gehören Bestätigungen vor folgenreichen Aktionen dazu.
Fazit
Qwen3.8-27B ist technisch bemerkenswert: Ein 27-Milliarden-Modell kann quantisiert auf lokaler High-End-Hardware laufen und mit gut eingebundenen Werkzeugen anspruchsvolle Aufgaben bearbeiten. Daraus folgen aber weder eine pauschale 16-GB-Empfehlung noch eine zeitlose Benchmarküberlegenheit. Der wichtigste praktische Befund lautet: Modell, Quantisierung, Kontext, Laufzeitumgebung und Rechte bilden zusammen das System.
Wer lokal experimentiert, sollte zunächst eine dokumentierte Quantisierung wählen, Speicher für Kontext einplanen und Geschwindigkeit mit realen Aufgaben messen. Web- und Terminalzugriff kommen erst danach, in einer Sandbox und mit minimalen Berechtigungen. So bleibt der Vorteil lokaler KI – Kontrolle über Daten und Betrieb – erhalten, ohne aus einer leistungsfähigen Demo eine unbelegte Sicherheits- oder Wirtschaftsprognose zu machen.