Lokale KI-Modelle 2026: Qwen 3.6, NVIDIA DGX Spark und souveräne Infrastruktur

Was bedeutet lokale KI, und wann rechnet sie sich?

Lokale KI heißt: das Sprachmodell läuft auf Ihrer Infrastruktur, im eigenen Serverraum, in einer dedizierten Cloud-Instanz oder auf einem Gerät im Büro. Kein Prompt verlässt das Haus. Wirtschaftlich wird das etwa ab fünf Millionen Token pro Tag, rechtlich häufig deutlich früher, sobald personenbezogene oder vertraglich gebundene Daten im Spiel sind.

Zwei Jahre haben gereicht, um den Markt zu drehen. 2024 lief fast jedes Unternehmensprojekt über die APIs von OpenAI oder Anthropic. Inzwischen sind die offenen Gewichte gut genug, die Hardware bezahlbar und die regulatorische Lage sortiert. Dieser Text sammelt die Zahlen, mit denen man die Entscheidung tatsächlich rechnen kann.

Warum ist das gerade im deutschen Mittelstand ein Thema?

Weil Bedarf und Bremse hier besonders weit auseinanderliegen. Der Bitkom misst 41 Prozent KI-Nutzung nach 17 Prozent im Vorjahr, nennt aber Datenschutzanforderungen bei 77 Prozent als größtes externes Hindernis. Lokaler Betrieb greift genau an dieser Stelle an, nicht am Modell.

Die Zahlen im Einzelnen, jeweils mit Stichprobe, weil sich die Erhebungen zur KI-Nutzung in Deutschland deutlich unterscheiden:

Aus diesen Zahlen folgt ein einfacher Schluss. Der Wunsch nach einem Anbieter aus Deutschland oder wenigstens aus der EU ist da, die Realität sieht anders aus, und die Lücke dazwischen ist der Grund, warum On-Premise 2026 wieder auf Einkaufslisten steht. Ein Modell, das im eigenen Rack rechnet, macht die Herkunftsfrage gegenstandslos.

Quellen: Bitkom zur Digitalisierung der Wirtschaft, Bitkom Cloud Report 2026, ifo Institut.

Welche Betriebsformen gibt es überhaupt?

Drei, und sie unterscheiden sich weniger im Modell als in der Frage, wer physischen Zugriff auf die Maschine hat. Für die Datenschutzprüfung ist genau das der entscheidende Punkt, für die Betriebskosten dagegen eher die Auslastung.

In allen drei Fällen gilt: die Daten gehören Ihnen, Sie entscheiden über Modellstand und Protokollierung. Der Unterschied liegt in der Verfügbarkeit und im Personalaufwand, und der wird bei der Planung regelmäßig unterschätzt.

Wie viel Souveränität brauchen Sie wirklich?

Eigene Hardware ist die teuerste von vier Stufen, und häufig genügt eine niedrigere. Die Entscheidung fällt entlang von zwei Fragen: Wer darf die Prompts technisch lesen, und wer hat physischen Zugriff auf die Maschine? Alles andere ist Vertragsgestaltung.

Der praktische Nutzen dieser Leiter liegt im Gespräch mit dem Einkauf. Wer Stufe 4 fordert, obwohl Stufe 3 die Anforderung erfüllt, bezahlt eine Hardware-Investition für ein Vertragsproblem. Umgekehrt hilft keine noch so gute Verschlüsselung, wenn eine Aufsichtsbehörde oder ein Rahmenvertrag die Verarbeitung außerhalb des eigenen Netzes untersagt.

Welches Open-Weight-Modell taugt 2026 im Unternehmen?

Die Qwen-Familie von Alibaba, in erster Linie wegen der Lizenz. Apache 2.0 erlaubt die kommerzielle Nutzung ohne Sonderbedingungen, anders als die eigene Lizenz von Llama. Dazu kommt, dass Qwen3.5-9B auf MMLU-Pro vor GPT-OSS-120B liegt, bei einem Bruchteil der Parameterzahl.

Praktisch heißt das dreierlei. Qwen3.5-9B ist der Punkt, an dem die meisten mittelständischen Anwendungen landen, weil eine einzelne Karte mit 24 GB genügt. Für Codegenerierung ist Qwen3-32B-Coder die bessere Wahl, 88 Prozent auf HumanEval gegenüber 82,6 Prozent bei DeepSeek V3.2 Speciale, das dafür acht H100 braucht. Und Qwen3-30B-A3B aktiviert als Mixture of Experts nur drei Milliarden Parameter je Token, was die Latenz niedrig hält, ohne das Wissen eines 30B-Modells aufzugeben.

Die Anfragen, die bei uns zu diesen Modellen am häufigsten hereinkommen: ein interner Dokumentenassistent über Richtlinien, HR- und Technikunterlagen, ein Kundenservice-Assistent in Bereichen, in denen ein Datenabfluss ausgeschlossen sein muss, Code-Vervollständigung auf internem Quellcode und die Extraktion aus Belegen mit personenbezogenen Daten.

Was bringt Qwen 3.6 gegenüber 3.5?

Alibaba hat am 20. April 2026 Qwen3.6-Max-Preview veröffentlicht, zwei Tage später das offene Qwen3.6-27B. Das ist die dritte größere Veröffentlichung allein in diesem Jahr, und das Tempo sagt einiges über die Richtung der chinesischen Open-Source-Entwicklung.

• Kontextfenster von 260.000 Token statt 128.000, womit eine vollständige Codebasis in einen Prompt passt
• Das Flag preserve_thinking hält Reasoning-Token über mehrere Züge hinweg, was Werkzeugketten in Agentenabläufen stabiler macht
• Zugewinne bei Coding-Agenten: SkillsBench plus 9,9 Punkte, SciCode plus 10,8, Terminal-Bench 2.0 plus 3,8 gegenüber 3.5
• Sechs erste Plätze auf gängigen Code-Benchmarks, darunter SWE-bench Pro und SciCode

Qwen3.6-27B lässt sich heute im eigenen Haus betreiben. Qwen3.6-Max-Preview gibt es bislang nur als API über Alibaba Cloud Model Studio, mit OpenAI-kompatiblem Endpunkt und der Modell-ID qwen3.6-max-preview. Für einen souveränen Aufbau kommt nur die offene Variante infrage.

Quellen: Qwen 3.6 Max Preview, QwenLM/Qwen3.6 auf GitHub, Qwen Team Technical Report, Local AI Master 2026.

Lohnt sich der NVIDIA DGX Spark?

Für Prototypen und Fine-Tuning ja, für Produktion mit vielen gleichzeitigen Nutzern eher nicht. NVIDIA hat das Gerät Ende 2025 ausgeliefert und den Preis im Februar 2026 wegen der Speicherversorgung von 3.999 auf 4.699 USD angehoben. Zum MNB-Kurs vom 14.08.2026 sind das rund 4.070 EUR, ohne Einfuhrumsatzsteuer und Versand.

• GB10 Grace Blackwell Superchip mit Tensor Cores der fünften Generation und FP4
• CPU mit 20 Arm-Kernen, zehn Cortex-X925 und zehn Cortex-A725
• 128 GB einheitlicher Speicher, LPDDR5x mit 8.533 MT/s
• Speicherbandbreite 273 GB/s
• 1 PetaFLOP Rechenleistung bei FP4
• Bis 70B Parameter für Fine-Tuning, bis 200B für Inferenz

Was zeigen die Messungen?

Das Software-Update zur CES 2026 mit TensorRT-LLM-Optimierungen und spekulativer Dekodierung hat gegenüber dem Marktstart etwa den Faktor 2,5 gebracht, bei der Videoerzeugung den Faktor 8. Die Bandbreite bleibt davon unberührt.

Welche Alternativen gibt es in derselben Klasse?

Der Mac Studio M4 Ultra schlägt den Spark bei der reinen Bandbreite und trägt in der 512-GB-Konfiguration Modelle bis 405B Parameter. Dafür fehlt CUDA, und ein spürbarer Teil der ML-Werkzeuge läuft dort nur eingeschränkt. Wer im NVIDIA-Ökosystem entwickelt, zahlt diesen Aufpreis meist nicht gern.

Quellen: NVIDIA Preisankündigung 23.02.2026, IntuitionLabs DGX Spark Review, Tom's Hardware.

Wann lokal, wann Cloud?

Die Antwort ist selten „alles lokal“. In der Praxis entscheidet die Aufgabe: gleichförmige Massenverarbeitung mit sensiblen Daten gehört ins Haus, seltene Anfragen mit hohem Anspruch an die Modellqualität bleiben in der Cloud. Deshalb fahren laut Premai 68 Prozent der produktiven Anwender beides parallel.

Ab welchem Volumen rechnet sich On-Premise?

Bei rund fünf Millionen Token pro Tag liegt die Amortisation nach Premai zwischen 18 und 24 Monaten, oberhalb von zehn Millionen Token pro Tag zwischen 12 und 18 Monaten. Wer darunter bleibt, zahlt mit eigener Hardware fast immer drauf, weil die GPU die meiste Zeit Leerlauf hat.

Über drei Jahre und bei guter Auslastung nennt SitePoint bis zu 50 Prozent Ersparnis gegenüber Cloud-APIs. Der Satz enthält zwei Bedingungen, und beide werden gern überlesen: drei Jahre Laufzeit und gute Auslastung.

Ein gerechnetes Beispiel

Ein mittelständischer Kunde von uns in Mitteleuropa hat im Januar 2026 von der OpenAI-API auf Qwen3.5-9B mit einer RTX 4090 gewechselt, bei durchschnittlich acht Millionen Token pro Tag.

• Vorher rund 1.800 EUR pro Monat für die API
• Danach 4.200 EUR einmalig für Hardware plus etwa 120 EUR pro Monat für Strom und Betrieb
• Bezahlt war der Wechsel am Ende des vierten Monats
• Der wichtigere Effekt war vertraglich: der Klinikpartner des Kunden hat die Freigabe erst erteilt, nachdem die Patientendaten das eigene Netz nicht mehr verließen

Quellen: Premai, On-Premise LLM Deployment, SitePoint TCO-Analyse 2026. Wenn Sie vorher wissen wollen, ob sich ein Vorhaben überhaupt lohnt, hilft unser Text dazu, wann ein KI-Projekt besser nicht startet: neun Gründe gegen ein KI-Projekt.

Welcher Software-Stack läuft 2026 in Produktion?

Für die Inferenz hat sich vLLM ab Version 0.7 durchgesetzt, mit OpenAI-kompatibler Schnittstelle, sodass bestehender Anwendungscode meist unverändert weiterläuft. Daneben TensorRT-LLM für maximalen Durchsatz auf NVIDIA, Ollama auf dem Entwicklungsrechner und llama.cpp für reinen CPU-Betrieb oder GGUF-Quantisierungen.

Schnellstart für den DGX Spark

Die unangenehmste Erfahrung mit dem Spark ist, zwei bis drei Tage mit dem Übersetzen von vLLM für die Architektur sm_121a zu verbringen. Das Community-Projekt eugr/spark-vllm-docker ist genau für dieses Gerät gebaut und nimmt diesen Schritt ab.

• Vorgebaute vLLM-Wheels aus den GitHub-Releases, nächtlich getestet
• Ray-Cluster über mehrere Knoten, zwei oder drei Sparks per InfiniBand oder RoCE gekoppelt
• Fertige Modellrezepte, unter anderem Qwen 3.5-397B über drei Geräte, Qwen3-Coder-Next, MiniMax M2 und M2.5, GLM-4.7, Nemotron und GPT-OSS-120B
• Quantisierung mit AWQ, INT4-AutoRound, NVFP4 und FP8
• FastSafeTensors für schnelleres Laden, Container ohne Privilegien

git clone https://github.com/eugr/spark-vllm-docker.git
cd spark-vllm-docker
./build-and-copy.sh
./launch-cluster.sh --solo

Für zwei gekoppelte Geräte verwenden Sie das Flag -c und die Mehrknoten-Optionen von launch-cluster.sh. Qwen 3.6-27B steht noch nicht in den offiziellen Rezepten, lässt sich aber mit einer kleinen Anpassung des 3.5-Rezepts starten.

Wissensanbindung und Absicherung

Für RAG greifen wir zu Qdrant oder Weaviate als Vektorspeicher und zu LangChain oder LlamaIndex als Rahmen. Zur Nachvollziehbarkeit gehört Langfuse im Self-Hosting, weil ohne Protokollierung der Prompts weder Fehlersuche noch Auditierung funktioniert. Wie sich Langfuse gegenüber LangSmith schlägt, haben wir in einem eigenen Vergleich durchgerechnet.

Die Sicherheitsschicht besteht aus drei Bausteinen, die unabhängig voneinander arbeiten: Garak oder Promptfoo prüfen das System auf Prompt Injection, NeMo Guardrails filtert Ausgaben, Llama Guard 3 übernimmt die Inhaltsmoderation lokal. Keiner dieser Bausteine ersetzt eine Freigabe durch Menschen bei Zahlungen oder Kundenkommunikation.

Wie fügt sich ein lokales Modell in die bestehende IT ein?

Über dieselben Bausteine wie jede andere interne Anwendung: Anmeldung gegen Ihr Verzeichnis, Rechte je Nutzer, Netzsegment, Protokollierung, Sicherung. Der Unterschied liegt in der Wissensanbindung, denn ein RAG-System darf einem Nutzer nur die Dokumente zeigen, die er auch im Quellsystem sehen dürfte.

Vier Punkte klären wir vor der ersten Zeile Code, weil sie sich später nur teuer nachrüsten lassen.

• Anmeldung über Entra ID, Keycloak oder LDAP, damit die Nutzerkennung bis in die Protokolle durchgereicht wird und nicht am Reverse Proxy endet
• Rechteprüfung im Vektorspeicher, also Filter auf Dokumentenebene beim Abruf. Ein nachträglicher Filter auf der Antwort ist keine Zugriffskontrolle, sondern Kosmetik
• Aufbewahrungsfrist für Prompts und Antworten. Ohne Protokoll ist weder Fehlersuche noch Auditierung möglich, mit unbegrenztem Protokoll entsteht ein neuer Datenbestand mit eigener Löschpflicht
• Netzsegment und Ausfallverhalten. Eine GPU im Werksnetz ist ein Serversystem wie jedes andere und gehört in Patch-Management und Notfallplanung

Für Unternehmen im Anwendungsbereich von NIS2 kommt hinzu, dass diese Punkte ohnehin nachzuweisen sind. Das deutsche Umsetzungsgesetz NIS2UmsuCG ist am 06.12.2025 in Kraft getreten, die Registrierung beim BSI hat nach § 33 Abs. 1 BSIG binnen drei Monaten nach Feststellung der Betroffenheit zu erfolgen, und das BSI weist darauf hin, dass die gesetzliche Registrierungsfrist bereits abgelaufen ist. Wer die Nachweise für NIS2 sauber aufsetzt, hat den größeren Teil der KI-Governance schon erledigt.

Quellen: openKRITIS zum NIS2UmsuCG, BSI zu NIS2-regulierten Unternehmen.

Woran messen Sie, ob das lokale Modell reicht?

An einem eigenen Prüfsatz, nicht an einer Benchmark-Tabelle. Nehmen Sie 50 bis 100 echte Vorgänge aus Ihrem Fachbereich, legen Sie die richtige Antwort daneben und lassen Sie dieselben Fälle gegen das lokale Modell und gegen die bisherige Cloud-API laufen. Erst diese Differenz trägt eine Investitionsentscheidung.

Drei Dinge gehören zu einem Prüfsatz, der auch in sechs Monaten noch etwas aussagt. Die Fälle stammen aus der Produktion und nicht aus einer Beispielsammlung. Die erwartete Antwort ist so notiert, dass eine maschinelle Prüfung möglich ist, also als Feldwert oder als Liste erlaubter Formulierungen. Und der Satz enthält bewusst die schwierigen Fälle, weil ein Modell an Ausnahmen scheitert und nicht am Regelfall.

Bei RAG-Anwendungen liegt der Hebel meist nicht beim Modell, sondern beim Abruf. Anthropic hat in eigenen Messungen die Fehlerquote beim Abruf von 5,7 auf 1,9 Prozent gesenkt, indem kontextualisierte Einbettungen mit BM25 kombiniert und anschließend neu sortiert wurden. Kontextualisierte Einbettungen allein brachten 3,7 Prozent, zusammen mit BM25 2,9 Prozent. Empfohlen wird, die besten 20 Textabschnitte an das Modell zu übergeben.

Quelle: Anthropic, Contextual Retrieval.

Was kostet ein On-Premise-KI-Projekt bei AppForge?

Unsere Preise sind öffentlich und in Forint kalkuliert. Umgerechnet zum MNB-Kurs vom 14.08.2026 von 1 EUR = 363,28 Ft ergeben sich die folgenden Bänder. Sie sind Richtwerte und ersetzen kein Angebot, weil der Preis nach einem Scoping-Gespräch feststeht.

Die Hardware kommt obendrauf und wird direkt beim Händler gekauft, ohne Aufschlag über uns. Bei einem Aufbau mit einer RTX 4090 oder einem DGX Spark reden wir über einen vierstelligen Betrag, bei einem Mehrknoten-Cluster über einen niedrigen fünfstelligen. Für eine Überschlagsrechnung vor dem Gespräch nutzen Sie unser Angebotsformular, dort fragen wir Volumen und Datenart ab.

Was steht so nicht im Datenblatt?

Fünf Punkte, die in Projekten regelmäßig für Überraschungen sorgen. Keiner davon ist ein Ausschlusskriterium, aber jeder verschiebt die Rechnung.

Speicher ist nicht Tempo

Der DGX Spark mit 128 GB erzeugt Token langsamer als eine RTX 4090 mit 24 GB, sobald das Modell ohnehin in 24 GB passt. Viel Speicher hilft erst, wenn Sie ihn brauchen, und kostet vorher nur Bandbreite.

Quantisierung kostet Qualität

Ein auf Q4 quantisiertes 70B-Modell verliert gegenüber Q8 etwa 8 bis 12 Punkte in MMLU. Die veröffentlichten Benchmarks stammen fast immer aus Q8- oder FP16-Läufen, in Produktion läuft dagegen meist Q4 oder Q5. Messen Sie deshalb mit der Quantisierung, die Sie später einsetzen.

Langer Kontext ist teuer

Der Speicherbedarf des Attention-Caches wächst überproportional mit der Kontextlänge. Ein 32B-Modell bei 128k Kontext belegt allein dafür 60 bis 80 GB VRAM. Wer 260k Kontext plant, plant faktisch mehrere Karten.

LoRA ersetzt kein RAG

Fine-Tuning mit LoRA schreibt kein Wissen ins Modell. Wenn Ihre Nutzer Fragen zu Unternehmensdokumenten stellen sollen, brauchen Sie eine Wissensanbindung, kein Training. LoRA passt den Stil und das Ausgabeformat an, mehr nicht.

Der Betrieb ist echte Arbeit

Rechnen Sie mit zwei bis sechs Stunden pro Woche für Aktualisierungen, GPU-Monitoring und Log-Rotation, dazu ein Wartungsfenster pro Quartal. Ohne DevOps-Kapazität im Haus oder beim Partner wird die Cloud auch langfristig günstiger, unabhängig vom Tokenpreis.

Wie hilft lokaler Betrieb bei DSGVO und EU AI Act?

Er beseitigt die Drittlandfrage und friert die Modellversion ein. Beides erleichtert die Dokumentation, ersetzt aber keine Rechtsprüfung. Zweckbindung, Löschkonzept und Auftragsverarbeitungsvertrag gelten unabhängig davon, wo das Modell rechnet.

Der aktuelle Stand beim AI Act, mit Quellen, weil hier viele Übersichten veraltet sind:

• Die Transparenzpflichten aus Art. 50 gelten seit dem 02.08.2026 unverändert. Nutzer müssen erkennen können, dass sie mit einer Maschine sprechen, synthetische Inhalte brauchen eine maschinenlesbare Kennzeichnung. Für Systeme, die vor diesem Datum im Markt waren, endet die Übergangsfrist zur Kennzeichnung am 02.12.2026.
• Die Pflichten für Hochrisikosysteme wurden mit der Verordnung (EU) 2026/1744 verschoben: Anhang III auf den 02.12.2027, in Produkte eingebettete Systeme nach Anhang I auf den 02.08.2028.
• Die Bußgelder nach Art. 99 sind gestaffelt. 35 Mio. EUR oder 7 Prozent des weltweiten Jahresumsatzes gelten für verbotene Praktiken, 15 Mio. EUR oder 3 Prozent für Verstöße gegen Anbieter-, Betreiber- und Transparenzpflichten, 7,5 Mio. EUR oder 1 Prozent für irreführende Angaben. Für KMU gilt jeweils der niedrigere der beiden Werte.

Für die DSGVO-Seite ist der wichtigste Punkt banal und wird trotzdem selten ausgesprochen: Ungarn ist EU-Mitgliedstaat. Bei einer Entwicklung aus Budapest entsteht kein Drittlandtransfer, es braucht keine Standardvertragsklauseln und kein Transfer Impact Assessment. Ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO bleibt Pflicht, ein brauchbares Muster stellt die Landesbeauftragte für den Datenschutz Baden-Württemberg bereit.

Wenn Sie den rechtlichen Rahmen sortiert brauchen, statt ihn aus einem Technikartikel zu ziehen: unsere Seite zum EU AI Act beschreibt das Vorgehen, und die Überschneidungen mit NIS2 zeigen, welche Nachweise sich doppelt verwenden lassen. Für Chatbots mit EU-Hosting gibt es eine eigene Übersicht.

Quellen: Art. 99 AI Act, Verordnung (EU) 2026/1744, Bird & Bird zum Transparency Code of Practice.

Welche Konfiguration passt zu welcher Unternehmensgröße?

Die folgende Matrix ist eine Startannahme, kein Ergebnis. Sie ordnet Größe und Anwendungsfall einem Aufbau zu, den wir in Projekten dieser Klasse tatsächlich einsetzen.

Womit fangen Sie an?

Nicht mit der Hardware. Der billigste Weg zu einer belastbaren Entscheidung führt über fünf Schritte, von denen die ersten vier nichts kosten außer Zeit.

1. Einen konkreten Anwendungsfall festlegen, etwa die Extraktion aus Eingangsrechnungen mit Umsatzsteuerausweis
2. Das Tokenvolumen messen, umgerechnet auf einen typischen Arbeitstag
3. Ein bis zwei Wochen in der Cloud testen, um das Konzept überhaupt zu prüfen
4. Dasselbe offene Modell bei einem Anbieter wie Together.ai, Fireworks oder Groq laufen lassen, also Qwen oder Llama, nur nicht auf eigener Hardware
5. Erst danach lokal aufbauen, wenn das Volumen es trägt

Die meisten Unternehmen sehen bereits nach Schritt drei, dass ihre OpenAI-Rechnung ein Vielfaches dessen beträgt, was Qwen3.5-9B bei einem Hoster kostet. Diese Erkenntnis ist billiger als ein Server, und sie kommt schneller.

Häufige Fragen