RAG für Unternehmen: Wissen mit LLMs verbinden
Viele Schweizer KMU möchten die Vorteile von Sprachmodellen nutzen, stossen in der Praxis aber schnell auf eine Grenze: Ein allgemeines LLM kennt zwar Sprache, aber nicht die internen Richtlinien, Projektdokumente, Servicefälle oder Prozessbesonderheiten des eigenen Unternehmens. Genau dort wird RAG für Unternehmen interessant.
Retrieval-Augmented Generation, kurz RAG, ist für viele KMU der pragmatischere Weg als eigenes Modelltraining. Statt ein Modell mit internen Daten neu anzulernen, verbindet RAG bestehende Sprachmodelle mit ausgewählten Wissensquellen im Unternehmen. Das Ziel ist nicht möglichst viel KI-Technik, sondern bessere, aktuellere und nachvollziehbarere Antworten auf Basis der vorhandenen Informationen.
Gerade im KMU-Umfeld ist das relevant: Wissen liegt oft verteilt in Dokumenten, Wikis, Ticketsystemen, Freigaben, Excel-Dateien oder Datenbanken. Es ist vorhanden, aber im Alltag schwer zugänglich. RAG kann helfen, dieses Wissen nutzbar zu machen, sofern Quellen, Rechte und Prozesse sauber aufgesetzt sind.
Warum interne Wissensquellen für LLMs im KMU wichtig werden
In vielen Unternehmen ist relevantes Wissen nicht an einem Ort gebündelt. Ein Teil liegt in Prozessbeschreibungen, ein Teil in Projektordnern, anderes in Support-Tickets, E-Mails oder einem internen Wiki. Für Mitarbeitende bedeutet das oft: suchen, nachfragen, vergleichen und im Zweifel auf individuelle Erfahrung vertrauen.
Das kostet Zeit und führt zu uneinheitlichen Antworten. Zwei Personen beantworten dieselbe Frage unterschiedlich, weil sie auf verschiedene Dokumente zugreifen oder unterschiedliche Versionen verwenden. Besonders deutlich wird das bei Themen wie internen Richtlinien, Offerten-Prozessen, technischen Spezifikationen, Serviceabläufen oder Compliance-Vorgaben.
Hinzu kommt ein typisches Risiko in KMU: Wissen hängt oft stark an einzelnen Personen. Wenn Schlüsselpersonen das Unternehmen verlassen oder Rollen wechseln, gehen Zusammenhänge verloren. Neue Mitarbeitende benötigen länger, um sich einzuarbeiten. Projektwissen bleibt in Ablagen zurück, ist aber für andere kaum auffindbar oder nur mit viel Aufwand nutzbar.
Parallel dazu wächst der Wunsch, KI im Arbeitsalltag sinnvoll einzusetzen. Viele Unternehmen haben bereits erlebt, dass öffentliche Tools bei allgemeinen Textaufgaben hilfreich sein können. Für konkrete Fachfragen reichen generische Antworten aber nicht aus. Wer wissen will, welche interne Richtlinie gilt, welcher Prozessschritt vorgeschrieben ist oder wie ähnliche Fälle früher gelöst wurden, braucht Antworten auf Basis eigener Inhalte.
Genau an diesem Punkt liegt der geschäftliche Nutzen: nicht KI als Selbstzweck, sondern schnellerer, verlässlicherer und kontrollierterer Zugriff auf bestehendes Unternehmenswissen.
RAG einfach erklärt: So verbindet das Modell Suchanfrage und Antwort
RAG lässt sich am einfachsten als Kombination aus Suchen und Formulieren beschreiben.
Wenn eine Person eine Frage stellt, antwortet das Sprachmodell nicht nur aus seinem allgemeinen Trainingswissen. Stattdessen sucht das System zuerst in den angebundenen internen Quellen nach passenden Inhalten. Das können etwa Prozessdokumente, Wiki-Einträge, Tickets oder Datenbankeinträge sein. Diese relevanten Informationen werden dann dem Modell mitgegeben, damit es daraus eine Antwort formuliert.
Der entscheidende Unterschied zu einem isolierten LLM: Die Antwort basiert nicht nur auf Wahrscheinlichkeiten aus dem allgemeinen Sprachverständnis, sondern auf denjenigen internen Inhalten, die zur Frage passen.
Ein praxisnahes Beispiel:
Eine Mitarbeitende fragt, wie Reklamationen bei einem bestimmten Produkttyp intern bearbeitet werden sollen. Eine RAG-Lösung kann zuerst die aktuelle Prozessbeschreibung, die dazugehörige Service-Richtlinie und allenfalls ähnliche dokumentierte Fälle aus einem Ticketsystem heranziehen. Anschliessend formuliert das Modell eine verständliche Antwort, idealerweise mit Verweis auf die verwendeten Quellen.
Damit entsteht ein wichtiger Vorteil: Nachvollziehbarkeit. Wer die Antwort erhält, sollte im besten Fall auch sehen können, worauf sie basiert. Gerade für operative, regulatorische oder kundenrelevante Fragen ist das wesentlich. Es reicht nicht, dass eine Antwort plausibel klingt. Sie muss sich auf gültige interne Informationen stützen.
RAG ist damit keine Wunderlösung, sondern ein sauberer Mechanismus: relevante Inhalte finden, gezielt einbeziehen, Antwort daraus generieren. Für KMU ist das oft deutlich praktikabler als die Vorstellung, ein eigenes Modell trainieren zu müssen.
RAG statt Fine-Tuning: Wo der Unterschied für KMU wirklich liegt
Die Begriffe werden oft vermischt, erfüllen aber unterschiedliche Zwecke.
Fine-Tuning bedeutet vereinfacht, ein bestehendes Modell zusätzlich zu trainieren, damit es bestimmte Muster, Formulierungen oder Aufgaben besser beherrscht. Das kann sinnvoll sein, wenn ein Unternehmen ein Modell auf einen klar umrissenen Stil, eine spezifische Klassifikation oder eine wiederkehrende Aufgabe ausrichten will.
Für internes Wissensmanagement ist Fine-Tuning jedoch oft nicht der erste sinnvolle Schritt. Der Grund ist einfach: Unternehmenswissen ändert sich laufend. Richtlinien werden angepasst, Prozessdokumente aktualisiert, neue Projekte abgeschlossen, FAQs ergänzt und Ticketsysteme laufend erweitert. Ein trainiertes Modell ist in solchen Situationen schnell nicht mehr aktuell, wenn das zugrunde liegende Wissen nicht laufend nachgeführt wird.
RAG ist in diesem Umfeld meist besser geeignet, weil es auf aktuelle Quellen zugreift, statt Wissen dauerhaft ins Modell einzubrennen. Wenn ein Dokument ersetzt oder eine Richtlinie aktualisiert wird, kann die RAG-Lösung mit der neuen Version arbeiten, ohne dass ein neues Modelltraining nötig ist.
Das ist vor allem dann relevant, wenn:
Inhalte regelmässig wechseln
Dokumentenbestände wachsen
verschiedene Abteilungen auf unterschiedliche Wissensquellen zugreifen
Antworten nachvollziehbar und prüfbar sein müssen
sensible Inhalte nicht einfach in öffentliche Tools kopiert werden sollen
Fine-Tuning kann durchaus sinnvoll sein, aber eher in anderen Szenarien. Zum Beispiel dann, wenn ein Modell sehr konsistent in einem bestimmten Tonfall schreiben, wiederkehrende Strukturen einhalten oder eng definierte Aufgaben besonders zuverlässig ausführen soll. Es ersetzt jedoch nicht den Zugriff auf aktuelle interne Informationen.
Für viele KMU lautet die praktische Entscheidungsfrage daher nicht «Braucht es ein eigenes Modell?», sondern: Müssen aktuelle interne Quellen eingebunden werden oder soll ein Modell ein bestimmtes Verhalten lernen? Sobald Aktualität, Dokumentenbezug und Nachvollziehbarkeit im Vordergrund stehen, ist RAG statt Fine-Tuning häufig der passendere Ansatz.
Welche internen Wissensquellen sich für RAG eignen
Nicht jede Ablage ist automatisch eine gute Grundlage. Entscheidend ist, ob die Inhalte relevant, aktuell, zugänglich und qualitativ ausreichend gepflegt sind. Typische Wissensquellen mit hohem Nutzen sind:
Interne Richtlinien und Weisungen
Dazu gehören etwa Freigabeprozesse, Compliance-Vorgaben, Sicherheitsrichtlinien, HR-Regelungen oder Vorgaben für Kundenkommunikation. Solche Dokumente eignen sich gut, wenn Mitarbeitende im Alltag oft dieselben Fragen stellen und verbindliche Antworten brauchen.
Prozessdokumente und Arbeitsanweisungen
Prozessbeschreibungen, Checklisten, SOPs oder Verfahrensanweisungen sind besonders nützlich für operative Abläufe. Eine RAG-Lösung kann helfen, konkrete Prozessschritte schneller auffindbar zu machen und für Mitarbeitende verständlich zusammenzufassen. Das ist vor allem in Operations, Service, Administration oder Qualitätssicherung interessant.
Projektunterlagen
Projektprotokolle, Entscheiddokumente, Lessons Learned oder Spezifikationen enthalten oft wertvolles Erfahrungswissen. Diese Quellen sind hilfreich, wenn ähnliche Projekte wiederkehren oder wenn Entscheidungsgrundlagen aus früheren Vorhaben rasch verfügbar sein sollen.
Wikis und interne Wissensplattformen
Wikis sind oft der naheliegendste Startpunkt, weil sie bereits als Wissensspeicher gedacht sind. Wenn Inhalte dort gut strukturiert und gepflegt sind, lassen sie sich gut für Retrieval-Augmented Generation im KMU-Kontext nutzen. Besonders nützlich sind sie für allgemeine Fachfragen, Onboarding und bereichsübergreifendes Wissen.
Ticketsysteme und Supportfälle
Historische Servicefälle oder interne Support-Tickets können wertvoll sein, wenn wiederkehrende Probleme gelöst werden müssen. Voraussetzung ist allerdings eine gewisse Qualität der Einträge. Wenn Tickets unsauber erfasst, kaum kategorisiert oder voller Einzelfall-Kommunikation sind, steigt das Risiko unklarer oder irreführender Antworten.
FAQ-Sammlungen
Gut gepflegte FAQ-Inhalte sind oft ein schneller Einstieg, weil sie bereits in Frage-Antwort-Logik strukturiert sind. Sie eignen sich für interne Assistenzfunktionen, etwa in HR, IT-Support, Kundenservice oder internen Freigabeprozessen.
Strukturierte Datenbanken
Auch strukturierte Datenquellen können eingebunden werden, etwa Produktdaten, Stammdaten, Vertragsinformationen oder Statusinformationen aus Fachsystemen. Hier liegt der Nutzen weniger in langen Erklärtexten als in präzisen, aktuellen Fakten. Gerade in Kombination mit Dokumenten können solche Daten Antworten deutlich verbessern.
Weniger geeignet sind dagegen unstrukturierte Ablagen ohne Pflege, doppelte Dokumentbestände, veraltete Ordner oder Inhalte ohne klare Eigentümerschaft. RAG macht schlechte Wissensgrundlagen nicht automatisch gut. Es macht sie im Zweifel nur schneller sichtbar.
Was RAG für Schweizer KMU konkret bringt
Der grösste Vorteil liegt nicht in technischer Raffinesse, sondern in einem besseren Zugang zu vorhandenem Wissen. Wenn Mitarbeitende bei Fragen nicht zuerst verschiedene Ordner, Mails und Systeme durchsuchen müssen, werden Abläufe schneller und konsistenter.
Ein zentraler Nutzen ist die höhere Aktualität. Während ein klassisch trainiertes Modell auf dem Stand seines Trainings bleibt, kann eine RAG-Lösung mit denjenigen Dokumenten arbeiten, die aktuell freigegeben sind. Gerade bei Richtlinien, Produktunterlagen oder Projektwissen ist das entscheidend.
Dazu kommt eine bessere Genauigkeit im betrieblichen Kontext. Ein allgemeines LLM kann Sprache gut verarbeiten, kennt aber nicht automatisch die interne Logik eines Unternehmens. Mit angebundenen Wissensquellen werden Antworten spezifischer: nicht «wie man es allgemein macht», sondern wie es im eigenen Betrieb geregelt ist.
Für viele Entscheider noch wichtiger ist die Nachvollziehbarkeit. Wenn Antworten auf konkrete Dokumente, Wiki-Seiten oder Datensätze zurückgeführt werden können, steigt die Verlässlichkeit im Alltag. Das hilft nicht nur bei Entscheidungen, sondern auch bei Qualitätssicherung, Einarbeitung und interner Abstimmung.
RAG reduziert zudem ein Risiko, das in vielen Unternehmen bereits vorhanden ist: Mitarbeitende kopieren sensible Inhalte in öffentliche KI-Tools, weil sie sich schnelle Antworten erhoffen. Eine kontrolliert aufgebaute interne Lösung ist nicht automatisch risikofrei, aber sie schafft bessere Voraussetzungen für Datenschutz, Berechtigungen und nachvollziehbare Nutzung.
Im Ergebnis unterstützt RAG die Prozessoptimierung dort, wo Suchaufwand, Medienbrüche und Wissensverlust Kosten verursachen. Es ersetzt keine klaren Prozesse, funktioniert aber deutlich besser, wenn Prozesse dokumentiert und Verantwortlichkeiten sauber geregelt sind.
Welche Voraussetzungen Dokumente, Rechte und Prozesse erfüllen müssen
Der Erfolg einer RAG-Lösung hängt wesentlich weniger vom Modell ab als von der Qualität der Wissensbasis. Deshalb sollte vor jeder Umsetzung geprüft werden, ob die Quellen überhaupt dafür geeignet sind.
Ein erster Punkt ist die Dokumentenqualität. Inhalte sollten verständlich, ausreichend strukturiert und inhaltlich belastbar sein. Widersprüchliche Versionen, unklare Freigabestände oder veraltete Dokumente führen fast zwangsläufig zu schwachen Ergebnissen.
Ebenso wichtig sind aktuelle Versionen und klare Zuständigkeiten. Für zentrale Inhalte sollte definiert sein, wer sie pflegt, freigibt und bei Änderungen aktualisiert. Wenn niemand verantwortlich ist, veraltet die Wissensbasis schnell, und die Qualität der Antworten sinkt.
Dubletten und Mehrfachablagen sind ein weiteres Problem. Liegt dieselbe Richtlinie in drei Ordnern in unterschiedlichem Stand, ist nicht nur die Suche schwierig, sondern auch die KI-Antwort potenziell widersprüchlich. Vor einer produktiven Nutzung lohnt sich deshalb oft eine Bereinigung.
Ein besonders wichtiger Punkt sind Zugriffsrechte. Nicht jede Information darf für jede Rolle zugänglich sein. Eine RAG-Lösung muss Berechtigungen berücksichtigen, statt Informationen pauschal für alle nutzbar zu machen. Gerade bei Personaldaten, Vertragsdetails, Finanzinformationen oder vertraulichen Projektdokumenten braucht es eine saubere Governance.
Dazu gehört auch eine klare Einordnung sensibler Daten: Welche Inhalte dürfen in welcher Form verarbeitet werden? Welche Quellen sind für einen Pilot geeignet, welche erst nach zusätzlichen Schutzmassnahmen? Sicherheitsfragen sind kein Randthema, sondern Teil der Grundarchitektur.
Schliesslich braucht es einen Prozess für Pflege und Betrieb. Wissensquellen verändern sich, Strukturen wachsen, Verantwortlichkeiten wechseln. Ohne laufende Pflege verliert selbst eine anfangs gute Lösung an Nutzen. In vielen Fällen ist das weniger ein IT- als ein Organisations- und Steuerungsthema. Entsprechend wichtig sind klare Rollen und ein sauberes Vorgehen im Projektmanagement.
Typische Fehler bei RAG-Projekten in KMU
Viele Schwierigkeiten entstehen nicht wegen der Technologie, sondern wegen unrealistischer Annahmen.
Ein häufiger Fehler ist, mit schlechter Datenqualität zu starten. Wenn Quellen veraltet, widersprüchlich oder kaum strukturiert sind, wird auch die Antwortqualität schwanken. RAG kann vorhandenes Wissen zugänglich machen, aber keine inhaltliche Ordnung ersetzen.
Ebenso problematisch sind fehlende oder unklare Berechtigungen. Wird nur auf Inhalte geschaut, aber nicht auf Rollen und Zugriffe, entsteht schnell ein Sicherheitsrisiko. Gerade bei internen KI-Anwendungen muss von Anfang an klar sein, wer was sehen darf.
Ein weiterer Fehler sind zu breite Fragestellungen. Wenn ein Unternehmen gleichzeitig Prozesse, Support, HR, Projektwissen und technische Dokumentation in einem grossen Wurf abdecken will, steigt die Komplexität stark. Sinnvoller ist meist ein klar umrissener Anwendungsfall mit überschaubaren Quellen und messbarem Nutzen.
Häufig unterschätzt werden auch Verantwortlichkeiten. Wer pflegt die Quellen? Wer entscheidet bei Konflikten zwischen Dokumenten? Wer überwacht, ob Antworten fachlich brauchbar sind? Ohne diese Klärung bleibt die Lösung technisch vorhanden, aber organisatorisch instabil.
Dazu kommen zu hohe Erwartungen an Genauigkeit. Auch eine gut aufgebaute RAG-Lösung ist keine Garantie für perfekte Antworten in jeder Situation. Sie kann Informationen besser erschliessen, aber nicht jede Unklarheit in den Quellen auflösen. Deshalb braucht es in kritischen Prozessen weiterhin fachliche Verantwortung und Plausibilitätsprüfung.
Schliesslich scheitern Projekte oft an fehlender Pflege. Wissensbasen entwickeln sich weiter. Wenn neue Inhalte nicht integriert, veraltete Quellen nicht bereinigt und Regeln nicht angepasst werden, sinkt der Nutzen schrittweise.
Wer die eigene Ausgangslage nüchtern bewerten will, sollte deshalb nicht direkt mit einer Tool-Einführung starten, sondern zuerst Eignung, Risiken und Prioritäten prüfen. Genau dafür kann eine strukturierte Potenzialanalyse sinnvoll sein.
Wann sich eine Potenzialanalyse für RAG lohnt
Nicht jedes Unternehmen muss sofort ein RAG-Projekt starten. Sinnvoll ist zunächst eine Standortbestimmung: Wo liegt das relevante Wissen heute, wie gut ist es gepflegt, welche Anwendungsfälle versprechen echten Nutzen, und wo liegen Datenschutz- oder Governance-Fragen?
Eine Potenzialanalyse lohnt sich besonders dann, wenn im Alltag viel Zeit für Suche, Rückfragen und Abstimmungen verloren geht. Ebenso dann, wenn mehrere Wissensquellen parallel existieren und unklar ist, welche davon überhaupt als verlässliche Grundlage taugen.
Auch Unternehmen, die KI bereits nutzen möchten, aber unsicher sind, ob internes Wissen technisch und organisatorisch sauber eingebunden werden kann, profitieren von einer solchen Klärung. Das gilt insbesondere bei sensiblen Daten, bei mehreren beteiligten Fachbereichen oder wenn Fine-Tuning vorschnell als Standardlösung im Raum steht.
Der Nutzen einer Potenzialanalyse liegt nicht in einem vorschnellen Projektentscheid, sondern in einer fundierten Einschätzung:
Welche Quellen eignen sich? Welche Anwendungsfälle sind realistisch? Wo braucht es zuerst Bereinigung, Governance oder organisatorische Klärung? Und welcher Nutzen ist unter den gegebenen Bedingungen tatsächlich erreichbar?
Für diese Einordnung ist häufig eine Kombination aus fachlicher, organisatorischer und technischer Sicht notwendig. Im Kontext von Beratung und Analyse geht es deshalb nicht nur um KI, sondern um die Frage, wie internes Wissen im Betrieb sinnvoll nutzbar gemacht werden kann.
Häufig gestellte Fragen
Wann ist RAG sinnvoller als Fine-Tuning?
RAG ist meist dann sinnvoller, wenn aktuelle interne Inhalte in Antworten einfliessen sollen. Das betrifft etwa Richtlinien, Prozessdokumente, Projektwissen, Tickets oder Datenbanken, die sich laufend ändern. Fine-Tuning ist eher dann passend, wenn ein Modell ein bestimmtes Verhalten, einen Stil oder eine eng definierte Aufgabe lernen soll. Für viele KMU ist RAG deshalb der pragmatischere Ansatz, sobald Aktualität und Nachvollziehbarkeit im Vordergrund stehen.
Welche internen Quellen eignen sich am besten für RAG?
Besonders geeignet sind gepflegte und fachlich verlässliche Quellen wie interne Richtlinien, Prozessbeschreibungen, Wikis, FAQ-Sammlungen, ausgewählte Projektunterlagen, Ticketsysteme mit guter Datenqualität und strukturierte Datenbanken. Weniger geeignet sind ungepflegte Ablagen, doppelte Dokumentbestände oder Inhalte ohne klare Eigentümerschaft und Freigabe.
Wie aktuell bleiben Antworten aus einer RAG-Lösung?
Das hängt davon ab, wie aktuell die angebundenen Quellen gehalten werden. RAG selbst kann mit neuen oder aktualisierten Inhalten arbeiten, ohne dass ein Modell neu trainiert werden muss. Entscheidend ist aber, dass Dokumente sauber gepflegt, veraltete Versionen entfernt und Änderungen im Prozess berücksichtigt werden. Die Aktualität der Antworten ist also direkt von der Qualität und Pflege der Wissensbasis abhängig.
Kann RAG auch auf sensible Unternehmensdaten angewendet werden?
Grundsätzlich ja, aber nicht ohne klare Regeln. Sensible Daten erfordern saubere Berechtigungskonzepte, definierte Zugriffe, Governance und eine bewusste Auswahl der Quellen. Nicht jede Information sollte in denselben Kontext eingebunden werden. Vor allem bei Personaldaten, Finanzinformationen, Vertragsinhalten oder vertraulichen Projektdaten braucht es eine sorgfältige Prüfung von Datenschutz, Rollen und technischer Umsetzung.
Woran erkennt ein KMU, ob die eigene Wissensbasis dafür bereit ist?
Ein guter Hinweis ist, ob die relevanten Inhalte bereits in nachvollziehbarer Form vorliegen: aktuell, verständlich, ohne viele Dubletten und mit klaren Zuständigkeiten. Wenn wichtige Dokumente gepflegt sind, Berechtigungen geregelt sind und typische Fragen sich auf definierte Quellen zurückführen lassen, ist die Ausgangslage meist gut. Wenn dagegen viele Widersprüche, unklare Versionen und unstrukturierte Ablagen bestehen, sollte zuerst dort angesetzt werden.
Ein sinnvoller nächster Schritt: Eignung und Nutzen sauber prüfen
RAG für Unternehmen ist für viele KMU ein sinnvoller Weg, um internes Wissen mit LLMs zu verbinden, ohne vorschnell in eigenes Modelltraining oder unsichere Copy-Paste-Lösungen zu investieren. Der Nutzen entsteht jedoch nicht automatisch durch Technologie, sondern durch geeignete Quellen, klare Rechte und einen sauberen Umsetzungsrahmen.
Wer prüfen möchte, ob die eigene Wissenslandschaft dafür bereit ist, welche Anwendungsfälle Priorität haben und wo Risiken realistisch liegen, kann das mit einer strukturierten Potenzialanalyse klären. So entsteht eine belastbare Grundlage, bevor Zeit und Budget in die falsche Richtung fliessen.
