KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 4 von 14)
Teil 4 Kontrolle, Ausfallsicherheit, Verantwortung: Was Geschäftsführer vor dem produktiven KI-Einsatz klären müssen
Künstliche Intelligenz ist in vielen Unternehmen längst nicht mehr nur ein Experiment. Nach ersten Tests mit Chatbots, Assistenten, Automatisierungen und Analysewerkzeugen stellt sich für viele Geschäftsführer die nächste Frage:Wann und wie kann KI produktiv in Unternehmensprozesse eingebunden werden?
Genau an dieser Schwelle verändert sich die Qualität des Themas.
Solange KI nur einzelne Texte formuliert, Dokumente zusammenfasst oder interne Experimente unterstützt, bleibt das Risiko begrenzt. Sobald KI jedoch Entscheidungen vorbereitet, Prozesse beeinflusst, Kundendaten verarbeitet, Managementberichte erzeugt oder operative Abläufe unterstützt, wird sie Teil der Unternehmenssteuerung.
Dann reicht es nicht mehr, dass die Lösung beeindruckend funktioniert.
Dann muss sie kontrollierbar, überprüfbar, ausfallsicher und verantwortbar sein.
Produktiver KI-Einsatz ist keine Spielwiese mehr
Viele Unternehmen beginnen sinnvollerweise mit Pilotprojekten. Kleine Anwendungsfälle, begrenzte Daten, überschaubare Risiken. Das ist richtig.Doch der Übergang vom Pilotprojekt zum produktiven Einsatz wird häufig unterschätzt.
Im Pilotprojekt darf eine Antwort ungenau sein. Im produktiven Prozess kann dieselbe Ungenauigkeit Kosten verursachen.
Im Test darf ein Assistent gelegentlich scheitern. Im Kundenprozess kann dasselbe Scheitern Vertrauen beschädigen.
Im internen Experiment ist ein Fehler eine Lernerfahrung. Im operativen Betrieb kann er zu falschen Entscheidungen, Datenschutzproblemen oder Prozessausfällen führen.
Deshalb braucht produktive KI eine andere Betrachtung als experimentelle KI.
Die entscheidende Frage lautet nicht mehr:
Was kann die KI?
Sondern:
Unter welchen Bedingungen darf sie was tun — und wer kontrolliert das?
Kontrolle beginnt vor dem ersten produktiven Einsatz
KI darf nicht erst kontrolliert werden, wenn ein Fehler passiert ist.Kontrolle muss vor dem produktiven Einsatz geplant werden.
Dazu gehören klare Antworten auf mehrere Fragen:
- Welche Aufgabe übernimmt die KI?
- Welche Daten darf sie nutzen?
- Welche Entscheidungen darf sie vorbereiten?
- Welche Entscheidungen darf sie nicht treffen?
- Wann muss ein Mensch prüfen?
- Wann muss ein Ergebnis verworfen werden?
- Wie wird dokumentiert, worauf sich die KI gestützt hat?
- Wer trägt Verantwortung für die Nutzung der Ergebnisse?
- Die KI liefert Ergebnisse.
- Mitarbeiter verlassen sich darauf.
- Führungskräfte nutzen Auswertungen.
- Prozesse werden schneller.
Genau dort entstehen Risiken
KI darf Verantwortung nicht verwischen
Ein häufiger Fehler besteht darin, KI als neutrale Empfehlungsschicht zu betrachten.Die KI schlägt etwas vor. Der Mensch entscheidet. Damit scheint die Verantwortung geklärt.
In der Praxis ist es komplizierter.
Wenn ein KI-System regelmäßig Empfehlungen liefert, werden diese Empfehlungen Teil des Entscheidungsprozesses. Mitarbeiter können sich daran gewöhnen. Führungskräfte können sich auf KI-generierte Berichte stützen. Fachbereiche können KI-Auswertungen als objektiver betrachten, als sie tatsächlich sind.
Dann entsteht eine neue Verantwortungsfrage:
Wer prüft die Grundlage der Empfehlung?
Nicht nur das Ergebnis muss betrachtet werden, sondern auch die Herkunft der Daten, der Kontext, die Annahmen und die Grenzen des Systems.
Eine KI kann Entscheidungsvorlagen erzeugen. Sie kann Alternativen aufzeigen. Sie kann Zusammenhänge sichtbar machen.
Aber Verantwortung bleibt bei Menschen und Organisationen.
Deshalb muss vor dem produktiven Einsatz festgelegt werden:
- Wer ist fachlich verantwortlich?
- Wer ist technisch verantwortlich?
- Wer darf die KI-Ergebnisse verwenden?
- Wer muss sie prüfen?
- Wer entscheidet im Konfliktfall?
- Wer stoppt den Einsatz, wenn Zweifel entstehen?
Human Oversight ist kein Formalismus
In der europäischen KI-Regulierung spielt menschliche Aufsicht eine zentrale Rolle. Der EU AI Act sieht für Hochrisiko-KI-Systeme ausdrücklich vor, dass menschliche Aufsicht Risiken für Gesundheit, Sicherheit oder Grundrechte verhindern oder minimieren soll. Außerdem verlangt der risikobasierte Ansatz des AI Act unter anderem Risikomanagement, Nachvollziehbarkeit, menschliche Aufsicht sowie angemessene Genauigkeit, Robustheit und Cybersicherheit für Hochrisiko-Systeme.Auch wenn nicht jede KI-Anwendung im Mittelstand rechtlich ein Hochrisiko-System ist, ist der Grundgedanke für Geschäftsführer wichtig:
Wer KI produktiv einsetzt, braucht wirksame menschliche Kontrollpunkte.
Diese Kontrollpunkte dürfen nicht nur auf dem Papier existieren.
Ein Mitarbeiter, der eine KI-Entscheidung „freigibt“, ohne Datenbasis, Logik oder Grenzen des Systems beurteilen zu können, übt keine echte Kontrolle aus. Dann entsteht nur eine formale Verantwortung ohne reale Steuerungsfähigkeit.
Wirksame menschliche Aufsicht bedeutet:
- Die Rolle ist klar definiert.
- Die Person versteht den Prozess.
- Die Person erkennt typische Fehlermuster.
- Die Person darf KI-Ergebnisse ablehnen.
- Die Person kann den Prozess stoppen.
- Die Person hat Zugriff auf die relevanten Grundlagen.
- Die Person wird nicht durch Zeitdruck faktisch gezwungen, KI-Ergebnisse ungeprüft zu übernehmen.
Ausfallsicherheit: Was passiert, wenn die KI nicht verfügbar ist?
Jedes Unternehmen kennt Stellvertretungsregeln.Wenn ein Geschäftsführer krank ist, übernimmt ein Vertreter. Wenn ein Abteilungsleiter im Urlaub ist, gibt es eine Vertretung. Wenn ein Mitarbeiter ausfällt, wird Arbeit umverteilt.
Bei KI wird diese einfache Frage oft vergessen:
Was passiert, wenn die KI ausfällt?
Ausfall bedeutet nicht nur, dass ein System technisch nicht erreichbar ist.
Ausfall kann vieles heißen:
- Die KI liefert keine Antwort.
- Die Antwort kommt zu spät.
- Die Antwort ist offensichtlich falsch.
- Die Datenquelle ist nicht erreichbar.
- Der Anbieter hat eine Störung.
- Ein Modellupdate verändert das Verhalten.
- Eine Sicherheitsrichtlinie blockiert den Zugriff.
- Eine Schnittstelle liefert fehlerhafte Daten.
- Das System muss wegen Datenschutz- oder Sicherheitsverdacht abgeschaltet werden.
- Gibt es einen manuellen Rückfallprozess?
- Gibt es alternative Datenquellen?
- Kann der Prozess ohne KI fortgesetzt werden?
- Wie lange darf die KI ausfallen?
- Wer entscheidet über Abschaltung oder Wiederanlauf?
- Wie werden offene Vorgänge behandelt?
- Wie werden Mitarbeiter informiert?
- Wie wird verhindert, dass falsche Ergebnisse weiterverwendet werden?
Eine KI, die produktive Prozesse unterstützt, wird Teil der operativen Abhängigkeit. Deshalb muss sie wie jede kritische Unternehmenskomponente betrachtet werden.
Der gefährliche Unterschied zwischen Automatisierung und Abhängigkeit
Viele Unternehmen beginnen mit KI, um Arbeit zu erleichtern.Das ist legitim.
Doch erfolgreiche Automatisierung erzeugt mit der Zeit Abhängigkeit.
Was anfangs nur eine Unterstützung war, wird zur täglichen Arbeitsgrundlage. Mitarbeiter verlieren Routine in manuellen Alternativen. Prozesse werden um das KI-System herum gebaut. Berichte werden nur noch automatisiert erstellt. Entscheidungen werden an KI-Auswertungen ausgerichtet.
Dann ist der Ausfall der KI nicht mehr unbequem, sondern geschäftskritisch.
Genau deshalb muss Ausfallsicherheit vor der Skalierung geplant werden.
Nicht erst, wenn das Unternehmen bereits abhängig ist.
Die zentrale Führungsfrage lautet:
Welche Prozesse dürfen von KI abhängig werden — und welche Rückfallebene bleibt erhalten?
Datenschutz und Zugriffskontrolle sind Vertrauensfragen
KI-Systeme arbeiten häufig mit sensiblen Informationen:- Kundendaten,
- Personaldaten,
- Vertragsinhalten,
- Preisen,
- Angeboten,
- technischen Dokumenten,
- interner Kommunikation oder strategischen Auswertungen.
„Wir geben der KI erst einmal alles, dann wird sie schon bessere Ergebnisse liefern.“
Das ist riskant.
Produktive KI braucht klare Grenzen:
- Welche Daten dürfen verwendet werden?
- Welche Daten dürfen nicht verwendet werden?
- Welche Daten dürfen das Unternehmen verlassen?
- Welche Daten müssen anonymisiert oder pseudonymisiert werden?
- Welche Rollen dürfen welche KI-Funktionen nutzen?
- Welche Ergebnisse dürfen gespeichert werden?
- Welche Protokolle werden geführt?
- Wie lange werden Eingaben und Ausgaben aufbewahrt?
Er ist auch eine Vertrauensfrage.
Mitarbeiter müssen wissen, welche Daten verarbeitet werden. Kunden müssen darauf vertrauen können, dass ihre Informationen geschützt bleiben. Geschäftspartner müssen sicher sein, dass vertrauliche Inhalte nicht unkontrolliert in KI-Systeme gelangen.
Ohne dieses Vertrauen wird produktive KI organisatorisch instabil.
Cybersicherheit wird zur Geschäftsführungsaufgabe
Sobald KI mit Unternehmensdaten, Schnittstellen und operativen Prozessen verbunden wird, entsteht auch eine neue Angriffsfläche.Angriffe können sich gegen Daten, Modelle, Schnittstellen, Berechtigungen oder die Nutzung selbst richten. Manipulierte Daten können falsche Ergebnisse erzeugen. Unzureichende Rechtekonzepte können vertrauliche Informationen freilegen. Schwache Schnittstellen können zum Einfallstor werden.
Für europäische Unternehmen ist zudem wichtig: Die NIS2-Richtlinie verfolgt das Ziel, ein hohes gemeinsames Cybersicherheitsniveau in der EU sicherzustellen und erfasst zahlreiche kritische und wichtige Sektoren. Die EU beschreibt NIS2 als einheitlichen Rechtsrahmen für Cybersicherheit in 18 kritischen Sektoren.
Nicht jedes mittelständische Unternehmen fällt automatisch unter NIS2. Aber die Richtung ist eindeutig: Cybersicherheit und digitale Betriebsfähigkeit wandern stärker in die Verantwortung der Unternehmensleitung.
Für KI bedeutet das:
Produktiver KI-Einsatz darf nicht nur als Innovationsprojekt behandelt werden. Er muss Teil des Risikomanagements werden.
Governance: Wer darf KI wofür einsetzen?
Viele Unternehmen unterschätzen die organisatorische Dimension.Wenn jeder Fachbereich eigene KI-Werkzeuge ausprobiert, entstehen schnell neue Schattenstrukturen.
- Der Vertrieb nutzt einen Assistenten für Kundenkommunikation.
- HR nutzt KI für Bewerbertexte.
- Controlling erzeugt Berichte mit KI-Unterstützung.
- Projektleiter fassen Protokolle automatisch zusammen.
- Entwickler verwenden KI für Code.
- Mitarbeiter laden Dokumente in externe Werkzeuge hoch, um schneller zu arbeiten.
Aber ohne Governance verliert das Unternehmen den Überblick.
- Welche KI-Systeme werden genutzt?
- Welche Daten fließen wohin?
- Welche Ergebnisse sind geschäftsrelevant?
- Welche Anbieter sind freigegeben?
- Welche Risiken wurden bewertet?
- Welche Nutzungsregeln gelten?
- Welche Schulung ist notwendig?
- Welche Verstöße werden wie behandelt?
Nicht als Innovationsbremse, sondern als Schutz vor unkontrolliertem Wildwuchs.
Die internationale Norm ISO/IEC 42001 beschreibt Anforderungen und Leitlinien für ein KI-Managementsystem, mit dem Organisationen die Entwicklung, Bereitstellung oder Nutzung von KI-Systemen steuern, Risiken managen und einen kontinuierlichen Verbesserungsprozess etablieren können.
Für Geschäftsführer ist daran vor allem eines wichtig:
KI braucht Managementsysteme, nicht nur Tools.
Was vor dem produktiven KI-Einsatz geklärt sein muss
Vor dem produktiven Einsatz sollte ein Unternehmen mindestens sieben Punkte klären.1. Zweck und Grenzen
- Welche Aufgabe übernimmt die KI konkret?
- Was darf sie nicht tun?
- Welche Prozesse sind betroffen?
- Welche Entscheidung bleibt zwingend beim Menschen?
2. Datenbasis
- Welche Daten nutzt die KI?
- Aus welchen Quellen stammen sie?
- Wie aktuell sind sie?
- Wer verantwortet sie fachlich?
- Welche Qualität haben sie?
- Welche Daten dürfen nicht verwendet werden?
3. Verantwortlichkeiten
- Wer ist fachlich verantwortlich?
- Wer ist technisch verantwortlich?
- Wer prüft Ergebnisse?
- Wer entscheidet bei Konflikten?
- Wer darf den Einsatz stoppen?
4. Menschliche Kontrolle
- Wo muss ein Mensch prüfen?
- Welche Prüfkompetenz braucht diese Person?
- Wann darf KI automatisch handeln?
- Wann ist Freigabe zwingend?
- Wie wird Übersteuerung dokumentiert?
5. Ausfall- und Rückfallkonzept
- Was passiert bei technischer Störung?
- Was passiert bei falschen Ergebnissen?
- Was passiert bei Anbieterproblemen?
- Wie läuft der Prozess ohne KI weiter?
- Wie schnell muss wiederhergestellt werden?
6. Datenschutz und Sicherheit
- Welche Daten sind sensibel?
- Welche Verarbeitung ist erlaubt?
- Welche Anbieter sind zulässig?
- Welche Zugriffe werden protokolliert?
- Welche Sicherheitsmaßnahmen sind notwendig?
7. Nachvollziehbarkeit und Verbesserung
- Wie werden Ergebnisse geprüft?
- Wie werden Fehler dokumentiert?
- Wie werden Modelle,
- Prompts,
- Datenquellen oder Regeln angepasst?
Produktive KI ist kein einmal installiertes System. Sie muss laufend überwacht und verbessert werden.
Warum das keine Bürokratie ist
Viele Geschäftsführer fürchten, dass Governance Innovation bremst.Das kann passieren, wenn Regeln schwerfällig, abstrakt oder praxisfern sind.
Aber gute KI-Governance hat ein anderes Ziel: Sie soll produktive Nutzung ermöglichen, ohne das Unternehmen unkontrollierten Risiken auszusetzen.
Sie schafft Klarheit:
- für Mitarbeiter,
- für Fachbereiche,
- für IT,
- für Management,
- für Kunden,
- für Prüfer,
- für Geschäftspartner.
Nicht maximal formal. Nicht konzernbürokratisch. Nicht als Papierübung.
Sondern so konkret, dass jeder kritische KI-Anwendungsfall beantwortet:
- Was darf das System?
- Was darf es nicht?
- Wer prüft?
- Wer entscheidet?
- Was passiert bei Fehlern?
- Wie bleibt das Unternehmen handlungsfähig?
Fazit: Produktive KI braucht Führung, nicht nur Freigabe
Künstliche Intelligenz kann Unternehmen leistungsfähiger machen. Sie kann Wissen schneller verfügbar machen, Entscheidungen vorbereiten, Prozesse beschleunigen und operative Arbeit entlasten.Aber sobald KI produktiv eingesetzt wird, entsteht Verantwortung.
Dann reicht es nicht, dass ein System gute Ergebnisse in einer Vorführung liefert. Es muss kontrollierbar sein. Es muss ausfallsicher genug sein. Es muss mit Datenschutz, Berechtigungen und Cybersicherheit vereinbar sein. Es muss nachvollziehbar bleiben. Und es muss klar sein, wer Verantwortung trägt.
Der entscheidende Punkt lautet:
KI darf nicht nur eingeführt werden. KI muss geführt werden.
Für Geschäftsführer bedeutet das:
Vor dem produktiven KI-Einsatz müssen Zweck, Datenbasis, Verantwortung, Kontrolle, Ausfallsicherheit, Datenschutz, Sicherheit und Nachvollziehbarkeit geklärt sein.
Nicht, um KI zu verhindern.
Sondern um sie tragfähig zu machen.
Denn eine KI, die niemand kontrollieren kann, ist kein Führungsinstrument. Eine KI, deren Ausfall niemand vorbereitet hat, ist kein stabiler Prozessbestandteil. Eine KI, deren Verantwortung unklar bleibt, ist kein Fortschritt, sondern ein Organisationsrisiko.
Produktive KI beginnt deshalb nicht mit der technischen Freischaltung.
Sie beginnt mit einer Führungsentscheidung:
Welche Verantwortung übernehmen wir, wenn wir KI Teil unseres Unternehmens machen?
Teil 5: KI-Spaghetti vermeiden: Warum der Mittelstand kleine KI-Lösungen nur mit Architektur skalieren kann
Die Ingenieure von 4WT werden meist für Unternehmen aus dem DACH-Raum hinzugezogen wenn:
Kein Vertrieb.
Kein Marketing.
reine Ingenieur-Analyse.
Austausch zwischen zwei Unternehmer, die Klartext reden.
Wenn Sie eine fachlich saubere Zweitmeinung brauchen:
📞 +49 30 8687094010 (Bitte Zeitverschiebung nach Bangkok beachten.)
✉️ uwe.richter@it-e-com.de
🔗 4WT Kontaktseite
Ich sage Ihnen auch ehrlich, wenn kein Handlungsbedarf besteht.
- Sie planen, den südostasiatischen Markt zu erschließen (Expansion, Markteintritt, Diversifizierung von Lieferketten);
- Sie deutsche Ingenieure mit technischem Sachverstand (juristische thailändische Person mit deutscher DNA), lokaler Präsenz und deutscher Management, jedoch keine Folienberatung suchen;
- Sie einen juristischen deutschen Partner vor Ort in Südostasien zur Unterstützung Ihrer Aktivitäten und als verlängerten Arm benötigen (operativ/technisch-exekutiv Betreuung vor Ort);
- Sie den Eindruck haben, dass in Ihrer Niederlassung ein Shadow-Management etabliert werden muss, welches die asiatische Arbeitskultur schon seit Jahrzehnten kennt, aber eine 100-prozentige deutsche DNA besitzt - Cultural Broker.
- Sie eine kulturell angepasste Unterstützung Ihrer thailändischen Geschäftsführung entsprechend deutscher Qualitäts- und Prozessanforderungen suchen.
- Sie die enormen Kosten ihres entsendeten Expat mit Sorge erfüllen und Sie eine deutlich günstigere skalierbare Alternative suchen.
- Sie eine Repräsentation bzw. bevollmächtigte Unternehmensvertretung als Liaison Office, Business Proxy oder Corporate Service Provider benötigen.
- Sie rechtssichere pragmatische FBA-Umgehung suchen.
- die Kosten für Ihre IT nicht mehr kalkulierbar sind und Sie keinen echten Mehrwert spüren,
- operativer Betrieb und IT nicht mehr sauber zusammenpassen und dadurch wirtschaftliche Entscheidungen ins Leere laufen,
- Sie das Gefühl haben, ihre Unternehmen arbeiten für die IT und nicht umgekehrt
- trotz gleicher Sprache es zu Verständnisschwierigkeiten zwischen Ihnen und Ihrer IT-Abteilung kommt und Sie einen Sparringspartner benötigen,
- Sie suchen eine Person, die ihnen in Augenhöhe ehrliche Antworten gibt und nicht aufgrund von Befürchtungen bezüglich seiner nächsten Beförderung oder seines Arbeitsvertrags handelt.
- sich keiner Ihrer Mitarbeiter mehr mit den Legacy-(Alt‑)Systemen im Keller auskennt,
Kein Vertrieb.
Kein Marketing.
reine Ingenieur-Analyse.
Austausch zwischen zwei Unternehmer, die Klartext reden.
Wenn Sie eine fachlich saubere Zweitmeinung brauchen:
📞 +49 30 8687094010 (Bitte Zeitverschiebung nach Bangkok beachten.)
✉️ uwe.richter@it-e-com.de
🔗 4WT Kontaktseite
Ich sage Ihnen auch ehrlich, wenn kein Handlungsbedarf besteht.
Zufällige Auswahl von Artikeln zum Thema: KI
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 14 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 10 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 3 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 5 von 14)
- Die Rückkehr des Realismus: Warum Ihr Unternehmen in der Krise keinen „Berater“, sondern einen System-Architekten braucht.
- KI-4WT-Connectoren für KMU - Wir verbinden Ihre Daten mit Ihrer KI. (4WT-Seite)
- Kann eine KI in naher Zukunft einen erfahrenen Softwareingenieur ersetzen, Teil 1?
In welchem Blogartikel kommt folgendes Suchwort vor? Über 4WT
Dieser Beitrag spiegelt die Perspektive von 4WT wider – einem Ingenieurbüro, das Unternehmen dabei unterstützt, komplexe IT-Landschaften wieder beherrschbar zu machen.
Unser Fokus liegt nicht auf schnellen Lösungen oder Methodentrends, sondern auf Klarheit, Entscheidungsfähigkeit und verantwortungsvoller Automatisierung an der Schnittstelle zwischen Unternehmertum und IT.
Präsentation des Ingenieurbüros 4WT
Wir verstehen IT nicht als Selbstzweck, sondern als Nervensystem des Unternehmens.
