Künstliche Intelligenz im Unternehmen 2026: der vollständige Praxisleitfaden

Was bringt künstliche Intelligenz einem mittelständischen Unternehmen konkret?

KI zahlt sich im Mittelstand an vier Stellen aus: bei wiederkehrender Sachbearbeitung, beim Auffinden von internem Wissen, in Vertrieb und Marketing sowie bei datengetriebenen Prognosen. Der Hebel ist dabei fast immer die einzelne Aufgabe, nicht die Stelle. Wer eine abgegrenzte Aufgabe automatisiert und den Effekt misst, sieht in der Regel nach sechs bis achtzehn Monaten eine Amortisation.

Die Verbreitung ist längst kein Nischenthema mehr. Die Zahlen dazu gehen allerdings weit auseinander, und das liegt nicht an Messfehlern, sondern an unterschiedlichen Stichproben und Definitionen von KI-Nutzung. Deshalb hier alle vier großen deutschen Erhebungen nebeneinander, jeweils mit der Stichprobe.

Quellen: Bitkom, ifo Institut, Deutscher Mittelstands-Bund. Die DIHK-Zahlen stammen aus Sekundärzusammenfassungen; das Original-PDF der DIHK war bei unserer Prüfung am 14.08.2026 nicht abrufbar. Das sollte man dazusagen.

Aufschlussreicher als die Nutzungsquote ist eine andere Zahl aus der ifo-Erhebung: Nur 18,7 % entwickeln ein eigenes KI-System, rund drei Viertel setzen eine kostenpflichtige externe Lösung ein. Vier von fünf Unternehmen kaufen also zu. Das ist bis zu dem Punkt vernünftig, an dem die Standardsoftware an den eigenen Daten, am eigenen Rechtekonzept oder an der ERP-Anbindung scheitert. Genau dort fängt Individualentwicklung an, Sinn zu ergeben, und keinen Schritt früher.

Die vier Bereiche, in denen sich die Investition erfahrungsgemäß trägt:

1. Wiederkehrende Sachbearbeitung: Kundenservice, Belegverarbeitung, Rechnungsprüfung
2. Wissensmanagement: ein internes Frage-Antwort-System auf den eigenen Dokumenten
3. Vertrieb und Marketing: Lead-Qualifizierung, Angebotsentwürfe, Personalisierung
4. Datengetriebene Entscheidungen: Prognosemodelle und Anomalieerkennung

Welche Irrtümer kosten in KI-Projekten am meisten Geld?

Die teuersten Fehlannahmen sind drei: KI ersetze Stellen, ein ChatGPT-Abo sei bereits eine Unternehmenslösung, und ein einziges großes Projekt könne alles auf einmal automatisieren. Die MIT-Untersuchung Project NANDA fand im Juli 2025, dass 95 % der untersuchten generativen KI-Pilotprojekte keinen messbaren Beitrag zum Ergebnis hatten.

1. „KI ersetzt unsere Mitarbeiter“

Selten. KI löst Aufgaben ab, keine Stellenbeschreibungen. Von acht Stunden im Kundenservice entfallen erfahrungsgemäß fünf auf wiederkehrende Vorgänge; die restlichen drei, also Eskalationen, komplexe Reklamationen und alles mit Ermessensspielraum, bleiben beim Menschen. Die Personalstärke bleibt in der Regel gleich, das bearbeitete Volumen steigt.

2. „Wir schalten ChatGPT frei, das reicht“

Ein ChatGPT-Abo ist ein Produktivitätswerkzeug für einzelne Beschäftigte, kein Unternehmenssystem. Es kennt Ihre Preisliste nicht, Ihre Vertragsklauseln nicht und Ihre Rechteverwaltung schon gar nicht. Der Unterschied zwischen Werkzeug und System ist die Anbindung an eigene Daten und Prozesse, und die ist Arbeit.

3. „KI halluziniert zu viel für den Produktivbetrieb“

Das hängt an der Architektur, nicht am Modell. Anthropic hat in eigenen Messungen die Fehlerquote beim Auffinden relevanter Textstellen von 5,7 % auf 1,9 % gesenkt, indem kontextualisierte Einbettungen mit einer klassischen Stichwortsuche und einem Reranking-Schritt kombiniert wurden (anthropic.com, 19.09.2024). Bei Entscheidungen mit hohem Einsatz kommt eine menschliche Freigabe dazu. Wer ohne diese beiden Bausteine baut, bekommt tatsächlich ein Halluzinationsproblem.

4. „Das ist etwas für Konzerne, nicht für uns“

Die Einstiegshürde ist so niedrig wie nie. Ein Chatbot auf einer gepflegten Wissensbasis liegt bei uns im Bereich von 2.600 bis 7.800 EUR Entwicklung und vier bis sechs Wochen. Der laufende Betrieb bewegt sich für ein Unternehmen mit 50 Beschäftigten im niedrigen dreistelligen bis niedrigen vierstelligen Bereich pro Monat. Die genauen Bänder stehen weiter unten.

5. „Unsere Daten landen im Training des Anbieters“

Auf den Unternehmens- und API-Tarifen von OpenAI und auf der Claude API von Anthropic werden Eingaben nicht zum Modelltraining verwendet. Die Verbraucher-Tarife von ChatGPT tun das sehr wohl, weshalb dort keine Unternehmensdaten hingehören. Davon unabhängig bleibt die vertragliche Seite: Als deutscher Verantwortlicher brauchen Sie einen Auftragsverarbeitungsvertrag nach Art. 28 DSGVO mit jedem Glied der Kette. Fehlt er, liegt der Bußgeldrahmen bei 10 Mio. EUR oder 2 % des weltweiten Jahresumsatzes. Dass dieser Punkt in Deutschland zuerst kommt, ist belegt: Nach der Bitkom-Erhebung vom 11.03.2026 nennen 77 % der Unternehmen Datenschutzanforderungen als größte externe Hürde für den KI-Einsatz.

6. „Auf Deutsch versteht das Modell zu wenig“

Die allgemeine Sprachqualität ist 2026 nicht mehr der Engpass. Was weiterhin Arbeit macht, ist Fachterminologie: Artikelbezeichnungen, interne Abkürzungen, branchenübliche Formulierungen in Verträgen. Und eine ehrliche Einschränkung: Einen öffentlichen, belastbaren Benchmark für deutschsprachige Geschäftsdokumente haben wir nicht gefunden. Wer Ihnen eine Prozentzahl für Deutsch nennt, hat sie entweder selbst gemessen und kann den Datensatz zeigen, oder er erfindet sie.

7. „Wir automatisieren alles in einem großen Projekt“

Das ist der Fehler, den wir am häufigsten sehen, und er hat eine Zahl: Gartner erwartet, dass bis Ende 2027 über 40 % der Projekte mit autonomen KI-Agenten abgebrochen werden, wegen Kosten, unklarem geschäftlichem Nutzen und unzureichender Risikosteuerung (Umfrage mit 3.412 Teilnehmenden, gartner.com, 25.06.2025). Die Gegenstrategie sind Iterationen von vier bis sechs Wochen auf jeweils einen abgegrenzten Engpass. Wann ein Projekt besser gar nicht startet, haben wir separat aufgeschrieben: Wann sich ein KI-Projekt nicht lohnt.

Welche KI-Anwendungsfälle rechnen sich im Mittelstand am häufigsten?

Sechs Fälle decken den überwiegenden Teil der Anfragen ab, die uns aus dem gehobenen Mittelstand erreichen. Alle Preisangaben sind Projektpreise aus unserer eigenen Kalkulation, umgerechnet zum Kurs von 385 HUF/EUR und ohne Umsatzsteuer. Sie sind als Orientierung gedacht, nicht als Angebot.

1. Chatbot im Kundenservice auf eigener Wissensbasis

Beantwortet Anfragen rund um die Uhr auf Grundlage Ihrer FAQ, Ihrer Dokumente und vergangener Tickets. Aufwand 2.600 bis 7.800 EUR, vier bis sechs Wochen, dazu der Modellverbrauch. Wie viele Anfragen tatsächlich ohne menschliches Zutun abgeschlossen werden, hängt fast vollständig an der Qualität der Wissensbasis. In unseren Projekten liegt die Quote im ersten Jahr bei 40 bis 60 %; höhere Zahlen aus Anbietermarketing stammen typischerweise aus ausgewählten Stichproben.

2. Internes Wissenssystem auf den eigenen Dokumenten

Beschäftigte fragen Confluence, SharePoint oder das Dateiablagesystem in natürlicher Sprache ab, mit Quellenangabe und Rechteprüfung pro Nutzer. Aufwand 7.800 bis 20.800 EUR, zwei bis vier Monate. Der Nutzen ist Suchzeit, und die ist erstaunlich groß: Nach der Bitkom-Erhebung vom 11.03.2026 schöpfen nur 32 % der Unternehmen das Potenzial ihrer vorhandenen Daten aus, 61 % kaum oder gar nicht.

3. Belegverarbeitung und Rechnungsprüfung

Eingehende Rechnungen, Lieferscheine und Verträge werden gelesen, in strukturierte Daten überführt und ins ERP geschrieben. Die Vergleichszahlen dazu sind gut dokumentiert: Ardent Partners beziffert die durchschnittlichen Kosten der Rechnungsverarbeitung auf 9,40 USD pro Beleg gegenüber 2,78 USD bei den besten Vergleichsunternehmen, bei 9,2 statt 3,1 Tagen Durchlaufzeit (Sekundärzitat WEX, 20.07.2026). Auf die reine Datenerfassung entfallen dabei 30 bis 35 % der Kosten, auf die Ausnahmebehandlung 20 bis 25 % (IOFM-Verweis, 22.07.2026). Aufwand 6.500 bis 26.000 EUR. Realistisch sind im ersten Jahr 55 bis 75 % vollautomatisch durchlaufende Belege bei gemischtem Lieferantenstamm. Anbieter nennen gerne 85 bis 92 %, unabhängige Benchmarks eher 25 bis 35 %; der Unterschied ist die Stichprobe.

4. Lead-Qualifizierung im Vertrieb

Eingehende Anfragen werden gegen das Wunschkundenprofil eingeordnet, ein Antwortentwurf erzeugt und das CRM aktualisiert. Aufwand 1.300 bis 6.500 EUR, je nachdem wie viele Systeme beteiligt sind. Der messbare Effekt ist die Reaktionszeit auf neue Anfragen, und die ist im B2B-Vertrieb der stärkste einzelne Hebel auf die Terminquote.

5. KI-Agent für mehrstufige Vorgänge

Ein Agent führt einen Ablauf eigenständig aus: Marktbeobachtung, Rechnungsabgleich, Lieferantenvergleich. Aufwand 13.000 bis 39.000 EUR, drei bis neun Monate. Hier gilt die Warnung aus Punkt 7 oben besonders. Der Unterschied zwischen einem Chatbot, einer festen Workflow-Automatisierung und einem echten Agenten ist keine Geschmacksfrage, sondern eine Kostenfrage: Jeder zusätzliche Verarbeitungsschritt multipliziert den Modellverbrauch.

6. Prognosemodelle mit klassischem maschinellem Lernen

Abwanderungsprognose, Bedarfsplanung, Betrugserkennung. Aufwand 13.000 bis 39.000 EUR plus Datenaufbereitung, und die Aufbereitung ist meist der größere Posten. Ohne saubere historische Daten über mehrere Jahre führt dieser Weg zuverlässig in eine teure Sackgasse. Prüfen Sie das zuerst.

Was kostet ein KI-Projekt 2026 in Euro?

Ein Chatbot auf einer Wissensbasis liegt bei 2.600 bis 7.800 EUR, ein vollständiges RAG-System bei 7.800 bis 20.800 EUR, eine Individuallösung mit Agenten oder lokalem Modell bei 13.000 bis 39.000 EUR. Dazu kommen 78 bis 390 EUR monatlich für Wartung und Betrieb sowie der Modellverbrauch, der meist der kleinste Posten ist.

Die Modellkosten sind der Posten, den fast alle überschätzen. Die Listenpreise pro einer Million Token lagen am 14.08.2026 bei 2 USD Eingabe und 10 USD Ausgabe für Claude Sonnet 5, bei 1 und 5 USD für Haiku 4.5 sowie bei 5 und 25 USD für Opus 5 (platform.claude.com). Die Batch-Verarbeitung halbiert beide Seiten, ein Cache-Treffer kostet 10 % des Eingabepreises. Auf dieser Grundlage verursacht ein Website-Chatbot mit 500 Gesprächen im Monat je nach Modellwahl etwa 1,20 bis 26 EUR reine Modellkosten. Das sind unsere eigenen Berechnungen aus den offiziellen Listenpreisen, keine gemessenen Rechnungen.

Ein weiterer Kostenblock wird regelmäßig vergessen: die Beobachtung des Systems im Betrieb. Langfuse ist unter MIT-Lizenz selbst betreibbar, die Lizenzkosten sind null, der gehostete Einstiegstarif liegt bei 29 USD monatlich; LangSmith Plus kostet 39 USD je Nutzer und Monat. Der Vergleich der beiden steht im Kostenleitfaden für KI-Entwicklung.

Was gilt seit dem 2. August 2026 nach dem EU AI Act?

Seit dem 02.08.2026 gelten die Transparenzpflichten nach Art. 50 und das Sanktionsregime. Die Pflichten für Hochrisiko-Systeme gelten dagegen ausdrücklich nicht ab diesem Datum: Der Digital Omnibus hat sie auf den 02.12.2027 für Anhang III und den 02.08.2028 für Anhang I verschoben. Viele Übersichten im Netz führen noch den alten Termin.

Die Änderungsverordnung (EU) 2026/1744 wurde am 24.07.2026 veröffentlicht und trat am 27.07.2026 in Kraft, sechs Tage vor dem ursprünglichen Hochrisiko-Termin (EUR-Lex). Die verschobenen Fristen sind bei der Future of Privacy Forum (28.07.2026) und auf der Seite der EU-Kommission nachvollziehbar dokumentiert.

Für den Mittelstand heißt das in der Praxis meist nur eines: Ihr Kundenchatbot muss offenlegen, dass er eine Maschine ist, und KI-erzeugte Inhalte müssen maschinenlesbar gekennzeichnet werden. Für Systeme, die vor dem 02.08.2026 bereits im Markt waren, endet die Schonfrist für die Kennzeichnung nach Art. 50 Abs. 2 am 02.12.2026 (Bird & Bird zum finalen Transparency Code of Practice).

Der zweite Rechtsrahmen ist die DSGVO, und dort ist der praktische Punkt der Auftragsverarbeitungsvertrag nach Art. 28. Wenn Ihr Dienstleister in einem EU-Mitgliedstaat sitzt, entfallen Drittlandtransfer, Standardvertragsklauseln und Transfer-Impact-Assessment. Das ist kein Marketingargument, sondern schlicht weniger Papier. Die vollständige Betrachtung von AI Act, DSGVO und Sicherheitsanforderungen steht im Leitfaden zu EU AI Act und DSGVO.

Wie sieht ein realistischer Fahrplan für die ersten 90 Tage aus?

Zwei Wochen Bestandsaufnahme, vier bis sechs Wochen Pilot auf genau einem Engpass, vier bis acht Wochen Messung und Nachschärfen. Erst danach wird skaliert. Wer diese Reihenfolge umdreht und mit der Plattform beginnt, baut Infrastruktur für einen Anwendungsfall, den er noch nicht verstanden hat.

Woche 1 bis 2: Bestandsaufnahme

Wo steckt die meiste wiederkehrende Arbeit? Wir zählen Vorgänge, nicht Meinungen: Ticketvolumen nach Kategorie, Belegzahl pro Monat, Suchzeit pro Kopf. Am Ende stehen drei Kandidaten, nach Aufwand und erwartetem Effekt sortiert. Ein Kandidat, der sich nicht in Stunden oder Stückzahlen ausdrücken lässt, fällt raus.

Woche 3 bis 8: Pilot

Ein abgegrenzter Fall, produktiv einsetzbar. Das Ziel ist Lernen, nicht Perfektion. Legen Sie vorher fest, woran Sie Erfolg erkennen, und legen Sie ebenso fest, wann Sie abbrechen. Ein Pilot ohne Abbruchkriterium wird nie abgebrochen, sondern nur verlängert.

Woche 9 bis 16: Messen und nachschärfen

Drei Kennzahlen reichen: Anteil der ohne Menschen abgeschlossenen Fälle, inhaltliche Korrektheit gegen einen festen Prüfdatensatz, und Zufriedenheit der Nutzer. Der Prüfdatensatz ist der Teil, den fast alle auslassen. Ohne ihn merken Sie eine Verschlechterung nach einem Modellwechsel erst, wenn sich Kunden beschweren.

Ab Woche 17: skalieren

Wenn der Pilot trägt, kommt der nächste Bereich dazu, und zwar mit gemeinsamer Protokollierung, Kostenkontrolle und Zugriffsverwaltung. Wie die Anbindung an vorhandene ERP- und CRM-Systeme technisch abläuft, steht im Leitfaden zur KI-Integration in Bestandssysteme.

Eine Zahl gehört zu diesem Abschnitt, weil sie die Organisationsfrage beantwortet: Dieselbe MIT-Untersuchung, die 95 % erfolglose Pilotprojekte fand, misst 67 % Erfolgsquote bei der Kombination aus internem Fachverantwortlichen und externem Partner, gegenüber 22 % bei Projekten, die allein die interne IT stemmt (Project NANDA, Stichprobe: über 300 gemeldete Einführungen, 52 Interviews, 153 Führungskräftebefragungen, 07/2025).

Selbst entwickeln oder eine fertige Lösung kaufen?

Kaufen Sie alles, was bei Ihnen aussieht wie überall, und entwickeln Sie das, was Ihren Prozess ausmacht. Die Grenze verläuft fast immer an drei Stellen: an der Wissensbasis, am Rechtekonzept und an der Anbindung ans ERP. Solange keine dieser Stellen klemmt, ist die Standardlösung die wirtschaftlichere Antwort.

In der Praxis gewinnt fast immer die Mischform: ein Produktivitätswerkzeug von der Stange für die Belegschaft, dazu ein eigenes System an der Stelle, an der Sie sich vom Wettbewerb unterscheiden. Das deckt sich mit dem ifo-Befund, dass 18,7 % der deutschen Unternehmen selbst entwickeln und rund drei Viertel extern zukaufen. Die 18,7 % sind kein Rückstand, sondern in den meisten Fällen eine bewusste und richtige Entscheidung.

Ein deutschlandspezifischer Punkt kommt dazu. Nach dem Bitkom Cloud Report vom 17.06.2026 halten 98 % der befragten Unternehmen die Herkunft des Cloud-Anbieters für relevant, 91 % würden einen deutschen und 68 % einen europäischen Anbieter bevorzugen, während heute 71 % einen US-Anbieter einsetzen; 37 % würden dafür Nachteile in Kauf nehmen (603 Unternehmen ab 20 Beschäftigten, bitkom.org). Wenn Datenresidenz für Ihre Kunden ein Beschaffungskriterium ist, verschiebt das die Entscheidung Richtung Eigenentwicklung, unabhängig vom Funktionsumfang der Standardlösung.

Welche Fragen sollten Sie vor der Vertragsunterschrift klären?

Acht Fragen, und alle acht sollten eine konkrete Antwort bekommen. Wo der Anbieter ausweicht, liegt das Projektrisiko. Die Reihenfolge ist bewusst gewählt: Sie beginnt bei der Geschäftskennzahl und endet bei dem, was passiert, wenn das System nach zwölf Monaten nicht trägt. Nehmen Sie die Liste mit ins Gespräch, sie funktioniert auch bei jedem anderen Anbieter.

1. Welche Geschäftskennzahl verbessert sich?Nicht „mehr Effizienz“, sondern die durchschnittliche Bearbeitungsdauer eines Tickets, die Reaktionszeit auf Anfragen, die Durchlaufzeit einer Rechnung. Ein Angebot, das ausschließlich technische Größen wie Modellgenauigkeit oder Antwortzeit verspricht, sagt nichts über den Nutzen.
2. Wer ist intern verantwortlich? Nicht die IT-Leitung, sondern die Führungskraft des betroffenen Bereichs. Die 67-zu-22-Prozent-Zahl aus der MIT-Untersuchung ist im Kern eine Aussage über genau diese Rolle.
3. Werkvertrag oder Dienstvertrag? Ein Werkvertrag nach § 631 BGB schuldet ein Ergebnis mit Abnahme und Gewährleistung, ein Dienstvertrag nach § 611 BGB nur sorgfältiges Tätigwerden. Für ein abgegrenztes Pilotprojekt sollten Sie auf Werkvertrag und definierter Abnahme bestehen.
4. Liegt ein AVV vor, und wer sind die Unterauftragsverarbeiter? Verlangen Sie das Muster vor der Unterschrift, samt Liste der eingesetzten Modell- und Hosting-Anbieter. Sitzt der Dienstleister in der EU, entfallen Standardvertragsklauseln und Transfer-Impact-Assessment.
5. Wie wird das System eingestuft? Meist landet ein Kundenchatbot bei den Transparenzpflichten und nicht im Hochrisikobereich. Aber die Einstufung gehört dokumentiert, bevor gebaut wird, nicht danach.
6. Was ist der Umfang des Piloten, und wann gilt er als gescheitert? Zwei bis vier Wochen, mit vorab festgelegten Kriterien. Erreicht der Pilot sie nicht, wird abgebrochen und nicht verlängert.
7. Wie wird die Qualität gemessen? Fragen Sie nach dem Prüfdatensatz, nach der Fehlerquote und danach, wie ein Modellwechsel getestet wird. Wer darauf keine konkrete Antwort hat, hat noch kein KI-System im Produktivbetrieb betreut.
8. Was kostet der Betrieb nach zwölf Monaten? Der Modellverbrauch wächst mit dem Volumen. Lassen Sie sich die Rechnung für das Zehnfache der heutigen Menge zeigen, und lassen Sie sich die Übergabe des Quellcodes vom ersten Tag an vertraglich zusichern.

Welche Zahlen sollten Sie im Kopf behalten?

Wenn Sie aus diesem Text drei Zahlen mitnehmen, dann diese: 41 % Verbreitung in Deutschland, 95 % der Pilotprojekte ohne messbaren Ergebnisbeitrag, 18,7 % Eigenentwicklung. Dazu der Faktor 27 zwischen einem einzigen und acht Verarbeitungsschritten. Bei jeder Zahl steht die Stichprobe dabei, sonst wäre sie nichts wert.

Wenn Sie einen konkreten Engpass im Kopf haben und wissen wollen, ob er sich rechnet: Wir schauen uns in einem 30-minütigen Gespräch einen Prozess an, schätzen Aufwand und Betriebskosten und sagen auch, wenn sich der Aufwand nach unserer Einschätzung nicht lohnt. Angebot anfordern.