KI-Architekturen im Unternehmen – Vom Chat zu RAG und Agenten

Dieser Text beantwortet Fragen, die Sie im Gespräch mit der IT oder einem Lieferanten sowieso stellen werden: Was ist der Unterschied zwischen „normalem ChatGPT” und dem in Unternehmensdokumenten verwendeten System, wie viel kostet es und warum unterscheidet man überhaupt zwischen Architekturen?.

Bevor Sie ein Budget für die „KI-Implementierung” unterzeichnen, sollten Sie eines wissen: „KI“ ist kein einzelnes Produkt. Das sind ein paar Architekturen – vom einfachen Chat bis zum System mit der gesamten Archivierung und Automatisierung. Unten: was jeder gibt, was er nicht gibt, wie viel er kostet – ohne Abkürzungen wie „Vertrauen Sie uns, wir machen KI”.

Warum müssen Sie das wissen, bevor Sie eine Entscheidung treffen?

Denn die Wahl der Architektur wird bestimmt durch:

• Was das System tatsächlich macht – antwortet es nur oder nutzt es auch Ihre Dokumente und zeigt Quellen an?
• Kostenskala – Größenordnungen von mehreren Dutzend Euro pro Monat bis hin zu Zehntausenden Euro pro Jahr.
• Datensicherheit – ob der Inhalt das Unternehmen kontrolliert verlässt oder in einer ausgewählten Region verbleibt.
• Startzeit – von einem Tag bis zu mehreren Monaten.

Sie müssen keine Kenntnisse über neuronale Netze haben. Sie müssen sagen können: „Wir brauchen Architektur X, weil wir Problem Y haben” – oder stellen Sie dem Lieferanten eine schwierige Frage. Es wird auch dabei helfen ein umfassenderer Leitfaden zu Werkzeugen und Kosten.

1. Einfacher KI-Chat (Frage → Antwort)

So funktioniert es: Sie geben eine Frage ein. Das Modelll reagiert basierend auf Training – ohne ständigen Zugriff auf Ihre Dateien.

Ihre Frage → [Modell] → Antwort

Beispiele: ChatGPT, Claude, Zwillinge im Basismodus.

Was es kann: schreiben, übersetzen, zusammenfassen, Hilfe bei Code, Zahlen, Formatierung; analysieren Fragment, die Sie in das Fenster einfügen.

Was es nicht kann (wir sagen es deutlich): kennt nicht das gesamte Firmenarchiv; durchsucht die Festplatte nicht; Der Speicher zwischen den Sitzungen kann begrenzt oder nicht vorhanden sein.; kann halluzinieren – klingt weise, ist aber manchmal unwahr.

AnaProtokollee: Ein Gespräch mit einer ganz allgemein „klugen” Person, die Sie hat Ihre Verträge noch nie gesehen.

Kosten (Größenordnung): ca. 0–30 EUR/Person/Monat.

Wenn genug genug ist: Schreiben, Übersetzen, Brainstorming – bez die Notwendigkeit, Hunderte von Unternehmensdokumenten zu durchsuchen.

2. Chat mit Kontext (Hochladen von Dateien)

So funktioniert es: Sie hängen eine Datei (PDF, DOCX) an die Konversation an. Das Modelll antwortet über den Inhalt dieser Datei innerhalb der Sitzung.

Frage + hochgeladene Datei → [Modell] → Antwort zu dieser Datei

Beispiele: ChatGPT mit Anhang, Claude mit Dokumenten, Kopilot in Word.

Was kann mehr als ein einfacher Chat: Analyse eines konkreten Vertrags, Vergleich mehrerer hochgeladener Dateien, Zusammenfassungen.

Was es nicht kann: indiziert nicht ganz Unternehmensdatenbank – nur das, was Sie hochladen Jetzt; Dateigrößen- und -anzahlbeschränkungen; Fehlen eines dauerhaften „Unternehmensgedächtnisses“ pro Dokument; schlechte Zugriffskontrolle (wer kann wessen Daten sehen).

AnaProtokollee: Jemand versteht es eine Aktentasche – er wird lesen und antworten, aber er hat nicht den Schlüssel zum gesamten Archiv.

Kosten: ca. 20–50 EUR/Person/Monat.

Wenn genug genug ist: Arbeiten Sie an einzelnen Dokumenten, ohne Hunderte von Dateien durchsuchen zu müssen.

3. RAG – Zugriff auf die Wissensdatenbank des Unternehmens

So funktioniert es: Die Dokumente werden der Datenbank hinzugefügt. Zur Frage das System sucht zuerst relevante Fragmente, dann das Modelll erstellt darauf basierend eine Antwort, oft mit Fußnoten zu den Quellen.

Frage → Dokumentensuche → Fragmente → [Modell] → Antwort + Fußnoten

Hauptunterschied: Das Modelll „errät” nichts über Ihr Unternehmen – es tut es konkrete Zitate aus Ihren Dateien.

Was es kann: Durchsuchen einer großen Anzahl von Dokumenten; Fußnoten (Dokument, Seite); Datenbank wächst mit neuen Dateien; Kombinieren von Informationen aus mehreren Quellen in einer Antwort.

Was RAG selbst normalerweise nicht tut: führt Schritte in externen Systemen (Mail, CRM) ohne Erweiterungen nicht automatisch aus; Qualität = Qualität der Dokumente und Konfigurationen; Fehler sind weiterhin möglich – Die Überprüfung bleibt bestehen.

AnaProtokollee: Assistent wer er hat das Archiv überarbeitet und für jede Antwort wird angezeigt: „Dies ist aus Datei X”.

Kosten: Infrastruktur und Wartung oft Hunderttausende Euro pro Monat Plus Umsetzung (von mehreren bis mehreren Dutzendtausend Euro) – je nach Umfang.

Wenn es Sinn macht: Viele Dokumente, viele Menschen, Branchen, in denen es darauf ankommt Quellen und Prüfung (Recht, Finanzen, Medizin, HR, Beratung).

Wenn Sie nur die Hypothese „Lohnt es sich für uns?” testen, macht die Logik Sinn MVP – kleiner Umfang, dann Skalierung.

4. KI-Agenten – mehrere Schritte ausführen

So funktioniert es: Ein Befehl wird ausgeführt planenen: Suche in der Datenbank, Überprüfung des Kalenders, Erstellung des Dokuments, Vorbereitung zur Genehmigung usw.

Was kann mehr als RAG selbst: Mehrstufige Szenarien, Integrationen (Mail, Kalender, CRM – im Rahmen der Projektgrenzen), Automatisierung sich wiederholender Prozesse.

Risiken: Möglicherweise liegt ein Agentenfehler vor größere Effekte als der Fehler des Chats selbst; müssen klar definiert sein was ist erlaubt, was nicht; Implementierung und Tests dauern länger.

AnaProtokollee: RAG wie ein Bibliothekar mit einem Katalog; Agent wie ein Assistent, der etwas tut kümmert sich darum – unter Ihrer Aufsicht und Ihren Regeln.

Kosten: oft Tausende Euro pro Monat + Umsetzung Zehntausende Euro je nach Komplexität.

Wann: normalerweise po ein stabiles RAG oder eine klar definierte Wissensbasis; wird oft mit Ordnung in Verbindung gebracht Vertriebs- und Betriebsablauf.

5. Feinabstimmung – ein auf Ihren Daten trainiertes Modelll

So funktioniert es: Das BasisModellll ist abgestimmt auf ausgewählten Unternehmensdaten (Stil, typische Formulierungen, Domain).

Unterschied zu RAG: Das Wissen liegt in den „Gewichten” des Modellls, nicht nur in der durchsuchten Datenbank. Antworten können schneller sein; ersetzt nicht Fußnoten zu bestimmten aktuellen Dokumenten.

Risiken und Kosten: Ausbildung ist da Liebling; Die Aktualisierung des Wissens erfordert nachfolgende Zyklen. ohne RAG Es ist schwieriger, die Quelle anzuzeigen wie im PDF-Angebot; große Menge benötigt qualitativ Trainingsdaten.

Wann: selten als einzige Lösung; öfter RAG + optional Anpassung des Modellls dort, wo es wirtschaftlich sinnvoll ist.

Übersichtstabelle

*Mögliche Erweiterungen über reines RAG hinaus.

Welche Architektur wählen?

Typischer Pfad:

1. Heute: einfacher Chat / Kopilot – das Team lernt den Umgang mit Modells.
2. Wenn der Zugriff auf das Archiv fehlt: RAG (häufig der größte Wertsprung bei Dokumentarfilmunternehmen).
3. Optional später: Agenten – Prozessautomatisierung.

Sie müssen nicht mit der teuersten Variante beginnen. Beginnen Sie mit dem Problem: Wenn Ihr HauptProblem darin besteht, „Hunderte von Dateien zu durchsuchen”, finden Sie hier die Tools-Anleitung im ersten Artikel der Serie und RAG-Architektur sind wichtiger als die Feinabstimmung vom ersten Tag an.

Wenn der Endkunde hat sich wiederholende Fragen Bevor es den Verkäufer erreicht, wird eine ähnliche Logik der „Antworten von oben” durch eine gut gestaltete umgesetzt digitales Angebot und Kalkulation – andere Schicht, gleiche Richtung: weniger Chaos, klarere Antworten.

Möchten Sie die Architektur an den Umfang der Dokumente und Compliance-Anforderungen anpassen? Schreiben Sie – wir gehen Ihren Fall ohne Fachjargon durch.