KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 14 von 14)
Teil 14 Vektordatenbank, RAG und Memory: Was Geschäftsführer über das „Gedächtnis“ einer KI wirklich wissen müssen
Wenn über künstliche Intelligenz gesprochen wird, fällt schnell der Begriff „Gedächtnis“. Die KI „weiß“ etwas. Sie „merkt“ sich Dinge. Sie „lernt“ aus Gesprächen. Sie „greift auf Unternehmenswissen zu“.Diese Formulierungen sind verständlich, aber gefährlich ungenau.
Denn eine Unternehmens-KI hat nicht einfach ein einziges Gedächtnis wie ein Mensch. In der Praxis gibt es mehrere Schichten, die sehr unterschiedliche Aufgaben erfüllen:
- das trainierte KI-Modell,
- der aktuelle Anfragekontext,
- eine Vektordatenbank,
- ein RAG-Verfahren,
- ein kontrolliertes Memory,
- Quellsysteme wie ERP, CRM oder Dokumentenarchive,
- Protokolle und Caches.
Die wichtigste Unterscheidung lautet:
Das KI-Modell selbst ist nicht automatisch das Unternehmensgedächtnis.
1. Das KI-Modell: allgemeines Sprach- und Denksystem
Das KI-Modell ist der Teil, den viele Menschen als „die KI“ wahrnehmen.Es kann Sprache verstehen, Texte erzeugen, Zusammenhänge herstellen, Informationen strukturieren und Antworten formulieren.
Dieses Modell wurde vorher mit großen Datenmengen trainiert. Dabei entsteht aber keine klassische Datenbank, in der Informationen sauber zeilenweise gespeichert sind. Das Wissen des Modells steckt verteilt in mathematischen Parametern.
Für Geschäftsführer reicht folgende Vorstellung:
Das Modell ist kein Aktenschrank. Es ist eher eine trainierte Fähigkeit,
Sprache, Muster und Zusammenhänge zu verarbeiten.
Wichtig ist:
Im normalen Unternehmensbetrieb wird dieses Modell durch einzelne Anfragen meist nicht dauerhaft verändert.
Wenn ein Mitarbeiter eine Frage stellt und die KI Unternehmensdaten verarbeitet, bedeutet das normalerweise nicht, dass das Modell diese Daten dauerhaft lernt.
Das Modell antwortet mit dem Kontext, den es für diese Anfrage erhält.
Danach bleibt das Modell grundsätzlich so, wie es vorher war.
2. Der Anfragekontext: das kurzfristige Arbeitsgedächtnis
Wenn eine KI eine Frage beantworten soll, bekommt sie neben der Frage oft zusätzliche Informationen mitgegeben.Das kann sein:
- ein Dokumentauszug,
- eine Tabelle,
- ein Kundenstatus,
- ein Auftrag,
- eine Prozessregel,
- eine Zusammenfassung,
- ein Ausschnitt aus einem Handbuch,
- eine aktuelle Kennzahl.
Man kann ihn als kurzfristiges Arbeitsgedächtnis verstehen.
Die KI nutzt diesen Kontext, um die konkrete Antwort zu erzeugen.
Beispiel:
Ein Geschäftsführer fragt:
„Welche Kundenaufträge sind diese Woche kritisch?“
Dann reicht die Frage allein nicht aus. Die KI braucht Kontext:
- offene Aufträge,
- Liefertermine,
- Kundenpriorität,
- Lagerbestand,
- Produktionsstatus,
- offene Reklamationen,
- Zahlungsstatus.
Dieser Kontext sollte für die jeweilige Anfrage zusammengestellt werden — passend zur Rolle, Aufgabe und Berechtigung.
Wichtig:
Der Anfragekontext ist nicht automatisch dauerhaftes Lernen.
Er kann nach der Antwort verworfen werden.
3. Die Vektordatenbank: ein semantisches Register, kein Gehirn
Eine Vektordatenbank wird häufig missverstanden.Sie ist nicht das Gehirn der KI. Sie ist auch nicht automatisch das Langzeitgedächtnis des Modells.
Eine Vektordatenbank ist eher ein semantisches Register.
Das bedeutet:
Dokumente, Texte oder Wissensbausteine werden in kleinere Abschnitte zerlegt. Diese Abschnitte werden in mathematische Repräsentationen umgewandelt. Dadurch kann das System später nicht nur nach exakten Wörtern suchen, sondern nach Bedeutung.
Beispiel:
Ein Mitarbeiter fragt:
„Welche Regel gilt bei verspäteter Lieferung?“
Die Vektordatenbank kann passende Textstellen finden, auch wenn im Dokument nicht exakt „verspätete Lieferung“, sondern „Lieferverzug“ oder „Terminüberschreitung“ steht.
Das ist der Nutzen.
Aber:
Eine Vektordatenbank entscheidet nicht selbst, was wahr, aktuell oder erlaubt ist.
Sie findet passende Inhalte.
Ob diese Inhalte verwendet werden dürfen, aktuell sind oder für die Rolle des Nutzers freigegeben sind, muss durch Architektur, Metadaten und Berechtigungen geregelt werden.
4. RAG: die Methode, passende Informationen zur Antwort dazuzulegen
RAG steht vereinfacht für ein Verfahren, bei dem die KI vor ihrer Antwort passende Informationen aus externen Quellen erhält.Für Geschäftsführer kann man es so erklären:
RAG ist der Vorgang, bei dem der KI vor der Antwort die passenden Unterlagen auf den Tisch gelegt werden.
Der Ablauf:
- Nutzer stellt eine Frage.
- Das System sucht passende Informationen in Dokumenten, Datenbanken oder Wissensquellen.
- Die gefundenen Informationen werden als Kontext an die KI übergeben.
- Die KI formuliert daraus eine Antwort.
RAG ist eine Methode, um die KI mit aktuellem oder unternehmensspezifischem Wissen zu versorgen.
Der Vorteil:
Das KI-Modell muss nicht alles dauerhaft gelernt haben.
Die Unternehmensinformationen bleiben in externen Quellen oder Indizes und werden bei Bedarf zugeliefert.
Der Nachteil:
Wenn die falschen Informationen gesucht oder freigegeben werden, entsteht eine schlechte Antwort.
RAG ist also nur so gut wie:
- die Datenquellen,
- die Suchlogik,
- die Berechtigungen,
- die Aktualität,
- die fachliche Einordnung,
- die Kontextauswahl.
5. Memory: kontrolliertes Merken, nicht heimliches Lernen
Der Begriff Memory wird ebenfalls unterschiedlich verwendet.Im Unternehmenskontext sollte man damit vorsichtig umgehen.
Memory kann bedeuten:
- eine persönliche Nutzerpräferenz,
- eine fachliche Notiz,
- eine häufig verwendete Information,
- eine bestätigte Regel,
- ein gespeicherter Gesprächszusammenhang,
- ein dauerhafter Eintrag in einer Wissensbasis.
Memory darf nicht bedeuten, dass die KI heimlich alles speichert, was sie interessant findet.
Ein sauberes Unternehmens-Memory braucht Regeln:
- Was darf gespeichert werden?
- Wer darf Speicherung auslösen?
- Wer gibt fachlich frei?
- Wie lange bleibt die Information gültig?
- Wer darf sie später sehen?
- Wann wird sie gelöscht?
- Was darf nie gespeichert werden?
Lernen sollte nicht unkontrolliert im Modell passieren, sondern kontrolliert
in einer verwalteten Wissensbasis.
Das ist ein wichtiger Unterschied.
Wenn eine KI aus einem Vorgang lernt, sollte das nachvollziehbar sein.
Nicht:
Die KI merkt es sich irgendwie.
Sondern:
Eine Information wird geprüft, freigegeben, gespeichert, versioniert und
später kontrolliert verwendet.
6. Quellsysteme bleiben die Wahrheit
ERP, CRM, HR-Systeme, Lagerverwaltung, Finanzsysteme oder Dokumentenarchive bleiben im Regelfall die führenden Systeme.Die KI sollte nicht zur neuen Schatten-Datenbank werden.
Beispiel:
Ein neuer Mitarbeiter wird im HR-System angelegt.
Die KI muss diesen Mitarbeiter nicht dauerhaft in ihrem Modell lernen. Wenn später eine berechtigte Anfrage kommt, wird die Information aus dem HR-System oder einem freigegebenen Index geholt.
Das führende System bleibt das HR-System.
Dasselbe gilt für:
- Kunden im CRM,
- Aufträge im ERP,
- Lagerbestände in der Lagerverwaltung,
- Finanzdaten im Buchhaltungssystem,
- Dokumente im DMS.
Sie sollte nicht unbemerkt eine zweite Wahrheit aufbauen.
7. Warum Löschen schwierig werden kann
Das Thema Löschen ist besonders wichtig.Bei klassischen Datenbanken denkt man oft:
Ein Datensatz wird gelöscht, also ist er weg.
Bei KI-Systemen ist es komplizierter.
Eine Information kann an mehreren Stellen liegen:
- im Originalsystem,
- in einem Dokument,
- in einer Vektordatenbank,
- in einem Cache,
- in Protokollen,
- in einer Zusammenfassung,
- in einem Suchindex,
- in einem Backup,
- in einer gespeicherten Antwort.
Wenn sich Berechtigungen ändern, muss der Index das berücksichtigen.
Wenn eine Information veraltet ist, darf sie nicht weiter als gültiger Kontext verwendet werden.
Deshalb braucht eine Unternehmens-KI nicht nur Speicherfähigkeit, sondern auch Lösch-, Aktualisierungs- und Berechtigungskonzepte.
Oder einfacher:
Was in eine KI-Wissensschicht hineingeht, muss auch kontrolliert wieder
herausgenommen oder ungültig gemacht werden können.
8. Das häufigste Missverständnis
Ein häufiges Missverständnis lautet:Wir geben der KI Zugriff auf unsere Daten, dann baut sie sich mit der Zeit
ihr Wissen selbst auf.
Das ist gefährlich ungenau.
Richtig wäre:
Die KI kann mit freigegebenen Daten arbeiten. Ob daraus dauerhaftes
Unternehmenswissen entsteht, muss kontrolliert entschieden werden.
Es gibt also drei verschiedene Vorgänge:
1. Nutzen
Die KI nutzt Informationen für eine konkrete Antwort.2. Indexieren
Informationen werden in einer Such- oder Vektordatenbank auffindbar gemacht.3. Speichern als Wissen
Eine Information wird dauerhaft in einer Wissensbasis oder Memory-Struktur abgelegt.Diese drei Dinge dürfen nicht vermischt werden.
Nur weil die KI etwas nutzt, sollte es nicht automatisch dauerhaft gespeichert werden.
Nur weil etwas indexiert wurde, ist es nicht automatisch fachlich richtig.
Nur weil etwas im Memory liegt, darf es nicht automatisch jeder sehen.
9. Einfaches Architekturmodell
Vereinfacht kann man sich eine Unternehmens-KI so vorstellen:Quellsysteme
ERP, CRM, HR, DMS, Lager, Produktion
↓
Connectoren
Daten holen, filtern, übersetzen, Metadaten ergänzen
↓
Vektordatenbank / Suchindex
relevante Inhalte auffindbar machen
↓
KI-Gateway
Rolle, Zweck, Rechte, Kontext und Antwort prüfen
↓
KI-Modell
Antwort, Zusammenfassung, Bewertung, Vorschlag erzeugen
↓
Nutzer / Prozess
Antwort, Empfehlung, Eskalation
Dazu kann es ein kontrolliertes Memory geben:
geprüfte neue Erkenntnis
↓
Freigabe
↓
Wissensbasis / Memory
↓
spätere kontrollierte Nutzung
10. Was Geschäftsführer daraus mitnehmen sollten
Ein Geschäftsführer muss keine Vektormathematik verstehen.Aber er sollte diese Unterscheidungen kennen:
Das Modell
Kann Sprache, Muster und Zusammenhänge verarbeiten. Es ist nicht automatisch das Unternehmensgedächtnis.Der Kontext
Ist das Informationspaket für eine konkrete Anfrage. Er entscheidet stark über die Antwortqualität.Die Vektordatenbank
Macht Inhalte nach Bedeutung auffindbar. Sie ist ein Register, kein Gehirn.RAG
Legt der KI passende Informationen zur Antwort vor. Es ersetzt keine Datenqualität und keine Berechtigungsprüfung.Memory
Speichert ausgewählte Informationen dauerhaft. Es braucht klare Regeln und Freigaben.Quellsysteme
Bleiben die führenden Systeme für Unternehmensdaten. Die KI sollte sie nicht unkontrolliert ersetzen.11. Warum das für Datenschutz und Sicherheit wichtig ist
Je mehr Informationen in Vektordatenbanken, Suchindizes, Kontextspeichern oder Memory-Strukturen landen, desto wichtiger werden Kontrolle und Sicherheit.Besonders kritisch sind:
- personenbezogene Daten,
- Gehalts- und HR-Daten,
- Kundeninformationen,
- Verträge,
- Preise,
- Kalkulationen,
- Geschäftsgeheimnisse,
- technische Dokumentation,
- Zugangsdaten,
- interne Bewertungen.
Vor jeder Speicherung muss geklärt werden:
- Darf diese Information gespeichert werden?
- Muss sie anonymisiert werden?
- Wer darf sie später nutzen?
- Wie lange bleibt sie gültig?
- Wie wird sie gelöscht?
- Wird sie in Backups oder Logs weitergeführt?
- Kann sie versehentlich anderen Rollen angezeigt werden?
12. Warum das für Kosten wichtig ist
Auch wirtschaftlich ist die Unterscheidung wichtig.Wenn jede Anfrage alle Daten neu aus den Quellsystemen holt, entsteht hoher Aufwand.
Wenn dagegen zu viel dauerhaft gespeichert wird, entstehen Datenschutz-, Sicherheits- und Aktualitätsprobleme.
Deshalb braucht es einen Mittelweg:
- häufig benötigtes Wissen kontrolliert indexieren,
- sensible Daten eher live und rollenbezogen abrufen,
- historische Daten in geeigneten Fachsystemen oder Data Warehouses halten,
- nur verdichtete oder freigegebene Informationen an die KI geben,
- Memory nur für geprüfte und langfristig nützliche Informationen verwenden.
Nicht alles speichern. Nicht alles jedes Mal neu holen. Sondern bewusst
entscheiden, was wo hingehört.
13. Fazit: KI-Gedächtnis ist Architektur, nicht Magie
Eine Unternehmens-KI hat kein einfaches Gedächtnis wie ein Mensch.Sie arbeitet mit mehreren Schichten:
- Modellwissen,
- Anfragekontext,
- Vektordatenbank,
- RAG,
- Memory,
- Quellsystemen,
- Protokollen und Caches.
Wenn Unternehmen diese Schichten sauber trennen, kann KI sicherer, aktueller und wirtschaftlicher arbeiten.
Wenn sie sie vermischen, entstehen Risiken:
- Die KI weiß scheinbar Dinge, deren Herkunft unklar ist.
- Veraltete Informationen bleiben im Umlauf.
- Sensible Daten werden zu breit verfügbar.
- Löschen wird schwierig.
- Antworten wirken überzeugend, beruhen aber auf falschem Kontext.
- Memory wird zum unkontrollierten Schattenwissen.
Das Gedächtnis einer Unternehmens-KI entsteht nicht durch Magie. Es entsteht durch Architektur.
Für Geschäftsführer bedeutet das:
Nicht nur fragen:
Was kann die KI?
Sondern auch:
Woher weiß sie es, darf sie es wissen, wie aktuell ist es — und wer kontrolliert, was sie sich merkt?
Erst wenn diese Fragen beantwortet sind, wird aus KI-Nutzung eine kontrollierte Unternehmensfähigkeit.
Die Ingenieure von 4WT werden meist für Unternehmen aus dem DACH-Raum hinzugezogen wenn:
Kein Vertrieb.
Kein Marketing.
reine Ingenieur-Analyse.
Austausch zwischen zwei Unternehmer, die Klartext reden.
Wenn Sie eine fachlich saubere Zweitmeinung brauchen:
📞 +49 30 8687094010 (Bitte Zeitverschiebung nach Bangkok beachten.)
✉️ uwe.richter@it-e-com.de
🔗 4WT Kontaktseite
Ich sage Ihnen auch ehrlich, wenn kein Handlungsbedarf besteht.
- Sie planen, den südostasiatischen Markt zu erschließen (Expansion, Markteintritt, Diversifizierung von Lieferketten);
- Sie deutsche Ingenieure mit technischem Sachverstand (juristische thailändische Person mit deutscher DNA), lokaler Präsenz und deutscher Management, jedoch keine Folienberatung suchen;
- Sie einen juristischen deutschen Partner vor Ort in Südostasien zur Unterstützung Ihrer Aktivitäten und als verlängerten Arm benötigen (operativ/technisch-exekutiv Betreuung vor Ort);
- Sie den Eindruck haben, dass in Ihrer Niederlassung ein Shadow-Management etabliert werden muss, welches die asiatische Arbeitskultur schon seit Jahrzehnten kennt, aber eine 100-prozentige deutsche DNA besitzt - Cultural Broker.
- Sie eine kulturell angepasste Unterstützung Ihrer thailändischen Geschäftsführung entsprechend deutscher Qualitäts- und Prozessanforderungen suchen.
- Sie die enormen Kosten ihres entsendeten Expat mit Sorge erfüllen und Sie eine deutlich günstigere skalierbare Alternative suchen.
- Sie eine Repräsentation bzw. bevollmächtigte Unternehmensvertretung als Liaison Office, Business Proxy oder Corporate Service Provider benötigen.
- Sie rechtssichere pragmatische FBA-Umgehung suchen.
- die Kosten für Ihre IT nicht mehr kalkulierbar sind und Sie keinen echten Mehrwert spüren,
- operativer Betrieb und IT nicht mehr sauber zusammenpassen und dadurch wirtschaftliche Entscheidungen ins Leere laufen,
- Sie das Gefühl haben, ihre Unternehmen arbeiten für die IT und nicht umgekehrt
- trotz gleicher Sprache es zu Verständnisschwierigkeiten zwischen Ihnen und Ihrer IT-Abteilung kommt und Sie einen Sparringspartner benötigen,
- Sie suchen eine Person, die ihnen in Augenhöhe ehrliche Antworten gibt und nicht aufgrund von Befürchtungen bezüglich seiner nächsten Beförderung oder seines Arbeitsvertrags handelt.
- sich keiner Ihrer Mitarbeiter mehr mit den Legacy-(Alt‑)Systemen im Keller auskennt,
Kein Vertrieb.
Kein Marketing.
reine Ingenieur-Analyse.
Austausch zwischen zwei Unternehmer, die Klartext reden.
Wenn Sie eine fachlich saubere Zweitmeinung brauchen:
📞 +49 30 8687094010 (Bitte Zeitverschiebung nach Bangkok beachten.)
✉️ uwe.richter@it-e-com.de
🔗 4WT Kontaktseite
Ich sage Ihnen auch ehrlich, wenn kein Handlungsbedarf besteht.
Zufällige Auswahl von Artikeln zum Thema: KI
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 12 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 13 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 14 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 10 von 14)
- KI im Mittelstand beginnt nicht bei der IT (Serie, Teil 6 von 14)
- KI, Standortanalyse oder Sanierung: Strategische Entscheidungshilfe für Geschäftsführer
- KI-4WT-Connectoren für KMU - Wir verbinden Ihre Daten mit Ihrer KI. (4WT-Seite)
- Was macht eigentlich ein Prompt Engineer?
In welchem Blogartikel kommt folgendes Suchwort vor? Über 4WT
Dieser Beitrag spiegelt die Perspektive von 4WT wider – einem Ingenieurbüro, das Unternehmen dabei unterstützt, komplexe IT-Landschaften wieder beherrschbar zu machen.
Unser Fokus liegt nicht auf schnellen Lösungen oder Methodentrends, sondern auf Klarheit, Entscheidungsfähigkeit und verantwortungsvoller Automatisierung an der Schnittstelle zwischen Unternehmertum und IT.
Präsentation des Ingenieurbüros 4WT
Wir verstehen IT nicht als Selbstzweck, sondern als Nervensystem des Unternehmens.
