RAG vs. Fine-Tuning für deine eigenen Daten: Was dich wirklich kennt

Du willst eine KI, die dein Zeug wirklich kennt: deine Dokumente, deine Entscheidungen, deine Notizen, deine Arbeit. Du suchst nach dem "Wie" und stößt auf zwei Begriffe, die herumgeworfen werden, als wären sie austauschbar: RAG und fine-tuning. Sind sie nicht. Sie lösen unterschiedliche Probleme, kosten unterschiedlich viel und scheitern auf unterschiedliche Weise. Schlimmer noch: Für deine eigenen persönlichen Daten ignoriert der gängigste Rat stillschweigend genau das eine, das am meisten zählt. Dieser Beitrag erklärt beides klar und kommt dann zu dem Teil, den niemand laut ausspricht.

Die wichtigsten Erkenntnisse

• RAG (retrieval-augmented generation) gibt dem Modell zum Zeitpunkt der Frage relevante Informationen, indem es sie nachschlägt und dem Prompt hinzufügt. Das Modell selbst ändert sich nicht.
• Fine-tuning verändert die Gewichte des Modells, indem es an Beispielen trainiert wird, sodass ein Verhalten oder ein Stil fest eingebacken statt nachgeschlagen wird.
• Für Wissen, das sich ändert, ist RAG meist das richtige Werkzeug, weil du die Daten aktualisierst, nicht das Modell. Fine-tuning passt zu festem Verhalten und Format, nicht zu frischen Fakten.
• Keines von beiden löst für sich allein die Aktualität bei den Daten einer Person. Beide veralten, sofern nicht etwas die zugrunde liegende Quelle aktuell hält.
• Für deine eigenen Daten ist die eigentliche Anforderung eine lebendige, lokale Update-Schicht unter dem Retrieval, nicht ein größeres Modell oder ein einmaliger Trainingslauf.

---

RAG einfach erklärt

RAG steht für retrieval-augmented generation. Die Idee ist einfach: Wenn du eine Frage stellst, ruft das System zuerst die relevantesten Teile deiner Daten ab und übergibt sie dann zusammen mit deiner Frage an das Modell, sodass das Modell mit diesen Informationen antwortet.

Am Modell ändert sich nichts. Es ist dasselbe Modell, das alle anderen auch nutzen. Was sich ändert, ist, dass es für diese eine Antwort deine relevanten Dokumente vor sich hat. Stell dir eine Prüfung mit offenen Büchern vor. Der Student (das Modell) hat dein Material nicht auswendig gelernt, aber er kann im Moment der Frage die richtige Seite nachschlagen und daraus antworten.

Unter der Haube werden deine Dokumente in Chunks aufgeteilt und in Embeddings verwandelt, also numerische Repräsentationen von Bedeutung, die in einem Index gespeichert werden. Wenn du etwas fragst, wird auch deine Frage eingebettet, die nächstgelegenen Chunks werden herausgezogen, und diese wandern in den Prompt. Die Qualität eines RAG-Systems liegt in diesem Retrieval-Schritt: Wenn es die richtigen Chunks holt, ist die Antwort fundiert und konkret; wenn es Müll holt, antwortet das Modell selbstbewusst aus Müll.

Der große Vorteil für persönliche Daten ist, dass du Wissen aktualisierst, indem du Dokumente aktualisierst. Füge eine Notiz hinzu, und sie kann morgen abgerufen werden. Ändere einen Fakt, und wenn deine Quelle aktuell ist, wird die neue Version statt der alten herausgezogen. Kein erneutes Training.

Fine-Tuning einfach erklärt

Fine-tuning ist der andere Ansatz. Statt zum Zeitpunkt der Frage nachzuschlagen, nimmst du ein Basismodell und trainierst es an deinen eigenen Beispielen weiter, passt seine internen Gewichte an, sodass ein Verhalten Teil des Modells selbst wird.

Zurück zur Prüfungsanalogie: Fine-tuning ist keine Prüfung mit offenem Buch. Es sind Monate des Lernens, bis das Material verinnerlicht ist. Der Student geht hinein und antwortet aus dem, was jetzt in seinem Kopf ist. Das ist mächtig für die richtige Aufgabe und eine Falle für die falsche.

Fine-tuning glänzt, wenn du formen willst, wie sich das Modell verhält: einen konsistenten Ton annehmen, einem starren Ausgabeformat folgen, in einem spezialisierten Stil antworten oder eine enge Aufgabe bewältigen, die das Basismodell ungeschickt erledigt. Du bringst eine Fähigkeit oder eine Form bei, und du hast genug saubere Beispiele, um sie beizubringen.

Fine-tuning passt schlecht zu Fakten, die sich ändern. Einen Fakt in die Gewichte einzubacken macht ihn schwer korrigierbar: Um ein Detail zu ändern, musst du oft neu trainieren. Wenn ein fine-getuntes Modell deine alte Preisgestaltung gelernt hat, wird es weiter deine alte Preisgestaltung ausgeben, bis du erneut trainierst. Für lebendiges Wissen ist das genau die falsche Eigenschaft.

RAG vs. Fine-Tuning, Seite an Seite

Hier ist der Vergleich, der meist verwaschen wird, aufgeschlüsselt nach den Achsen, die ihn tatsächlich entscheiden.

Für die meisten, die nach ihren eigenen Daten fragen, beantwortet diese Tabelle es bereits: Wenn sich Wissen ändert, greif zu RAG. Du willst einen Fakt aktualisieren, indem du eine Notiz bearbeitest, nicht indem du einen Trainingslauf ansetzt. Fine-tuning ist das bessere Werkzeug, wenn du festes Verhalten formst, und die beiden lassen sich kombinieren (den Stil fine-tunen, RAG für die Fakten nutzen). Aber behandle sie als unterschiedliche Aufgaben, nicht als zwei Wege zum selben Ziel.

Wo Prompt Engineering hineinpasst

Menschen stellen oft drei Optionen nebeneinander: prompt engineering, RAG und fine-tuning. Prompt engineering ist das leichteste: Du formulierst die Anfrage sorgfältig und fügst ein, welcher Kontext auch immer hineinpasst. Es ist kostenlos und schnell, und dort sollte jeder anfangen.

Seine Grenze sind Kapazität und Wiederholung. Du kannst nur so viel einfügen, und du musst es jedes Mal einfügen, in jedem Chat. Prompt engineering ist, wie du Kontext nutzt, den du bereits zur Hand hast. RAG ist, wie du automatisch den richtigen Kontext aus einer großen Datenmenge ziehst, die du nicht einfügen kannst. Fine-tuning ist, wie du Verhalten einbäckst, das du gar nicht erst angeben willst. Sie sind eine Leiter, keine Rivalen, und die meisten Setups für persönliche Daten wollen die mittlere Sprosse mit einer guten Quelle darunter.

Der Teil, den niemand sagt: Aktualität ist das eigentliche Problem

Hier scheitert der Standardrat für persönliche Daten stillschweigend. Die Debatte RAG-gegen-fine-tuning ist fast immer um einen statischen Korpus herum gerahmt: eine feste Menge Firmendokumente, ein Handbuch, eine Wissensbasis, die jemand pflegt. Unter dieser Annahme gewinnt RAG bei der Aktualität, weil du "einfach die Dokumente aktualisierst".

Aber dein Leben ist kein statischer Korpus. Deine Daten sind ein fließender Strom. Du triffst am Montag eine Entscheidung und kehrst sie am Donnerstag um. Deine Preise ändern sich. Du bildest dir eine Meinung, dann änderst du sie. Der Satz "einfach die Dokumente aktualisieren" verbirgt eine enorme Menge manueller Arbeit, die für eine Person niemand tatsächlich erledigt. Also füllt sich der RAG-Index mit alten Notizen, widersprüchlichen Fakten und überholten Entscheidungen, und das Retrieval zieht getreulich die falsche heraus. RAG hat seinen Job gemacht. Die Quelle war veraltet, also ist die Antwort veraltet.

Das ist die Falle: Weder rohes RAG noch fine-tuning löst die Aktualität bei den Daten einer Person. Fine-tuning bäckt eine Momentaufnahme ein. RAG ruft aus dem ab, was du ihm gefüttert hast, einschließlich der Teile, die nicht mehr wahr sind. Beide veralten, weil beide voraussetzen, dass etwas das zugrunde liegende Wissen aktuell hält, und für persönliche Daten existiert dieses Etwas meist nicht. Müll rein, Müll raus, und der Müll hier sind deine eigenen veralteten Notizen. Das ist ein großer Teil davon, warum deine KI-Ausgabe generisch bleibt, selbst nachdem du sie auf deine Daten gerichtet hast.

<!-- INFOGRAPHIC: ein klares vertikales Diagramm, das RAG (Abruf zum Zeitpunkt der Frage), fine-tuning (in Gewichte eingebacken) und eine lebendige Update-Schicht unter beiden zeigt, die veraltete Fakten überholt, Locul-Marke (warmer Papier-Hintergrund, tintenblauer Akzent). Caption: RAG und fine-tuning setzen beide frische Daten voraus. Für deine eigenen Daten ist das die fehlende Schicht. Alt: RAG-vs-fine-tuning-Diagramm mit einer lebendigen Update-Schicht für persönliche Daten. -->

Was persönliche Daten wirklich brauchen: eine lebendige, lokale Update-Schicht

Wenn Aktualität das eigentliche Problem ist, besteht die Lösung nicht darin, RAG härter über fine-tuning zu wählen. Sie besteht darin, eine lebendige Update-Schicht unter das Retrieval zu legen, sodass die Quelle, aus der RAG zieht, immer aktuell ist.

Konkret müssen drei Dinge zutreffen. Das Wissen muss von selbst frisch bleiben, was bedeutet: Wenn sich ein Fakt ändert, wird die alte Version als veraltet markiert und die neue wird diejenige, die abgerufen wird, wobei die Historie erhalten bleibt. Es muss passiv aufgebaut werden, aus dem, was du ohnehin produzierst, denn niemand kuratiert von Hand sein ganzes Leben in einen sauberen Index. Und für persönliche Daten sollte es lokal sein, denn der ganze Sinn sind deine eigenen Entscheidungen, Entwürfe und halbgeformten Gedanken, also genau das Material, das du nicht auf die Server von jemand anderem schicken willst, um es indexieren oder darauf trainieren zu lassen.

Das ist die Schicht, die Locul bereitstellt. Es baut aus dem, was du ohnehin produzierst, ein durchsuchbares Second Brain: deine Notizen, PDFs, Diktate, dein Notion, dein LinkedIn-Profil, destilliert es zu Memories mit einer Art und einer Konfidenz und überholt alte Fakten mit neuen, während sich deine Welt bewegt, alles auf deinem eigenen Rechner. Es führt lokale Embeddings aus (Ollama mit nomic-embed-text), sodass die Retrieval-Seite privat bleibt, und es stellt dieses aktuelle Brain deinen KI-Tools über MCP bereit. Die Retrieval-Mechanik ist RAG. Das, was es dich wirklich kennen lässt, ist die lebendige, sich selbst pflegende Quelle darunter. Um diese Quelle zu füttern, ist einer der einfachsten Inputs das Diktat: Du sprichst Entscheidungen ohnehin laut durch, und ein Tool wie Contextli verwandelt das in aktuellen, ich-perspektivischen Kontext. Für die praktische Anleitung siehe wie du mit einer lokalen KI mit deinen eigenen Notizen chattest.

Häufig gestellte Fragen

Was ist der Unterschied zwischen RAG und Fine-Tuning?

RAG ruft zum Zeitpunkt der Frage relevante Informationen ab und fügt sie dem Prompt hinzu, sodass das Modell deine Daten nachschlägt, ohne sich zu ändern. Fine-tuning trainiert die Gewichte des Modells an deinen Beispielen und bäckt ein Verhalten oder einen Stil in das Modell selbst ein. RAG passt zu Wissen, das sich ändert; fine-tuning passt zu festem Verhalten, Ton und Format.

Wann sollte ich RAG statt Fine-Tuning nutzen?

Nutze RAG, wenn sich das Wissen ändert und du Fakten aktualisieren willst, indem du Daten bearbeitest statt neu zu trainieren, was fast alles persönliche und geschäftliche Wissen abdeckt. Nutze fine-tuning, wenn du formen musst, wie sich das Modell verhält (ein konsistenter Ton, ein striktes Format, eine enge Fähigkeit) und du saubere Beispiele hast, um es beizubringen.

Ist RAG günstiger als Fine-Tuning?

Im Allgemeinen ja. Die Hauptkosten von RAG sind Speicher und Retrieval, und du aktualisierst Wissen, indem du Dokumente änderst. Fine-tuning erfordert im Vorfeld Trainingsrechenleistung und Iteration, und jede Änderung an dem, was das Modell "weiß", kann einen weiteren Trainingslauf bedeuten. Für sich änderndes Wissen ist RAG meist die günstigere und flexiblere Wahl.

Können RAG und Fine-Tuning zusammen genutzt werden?

Ja, und oft sollten sie das. Ein gängiges Muster ist, ein Modell für ein konsistentes Verhalten oder einen Stil zu fine-tunen und dann RAG zu nutzen, um es zum Zeitpunkt der Frage mit aktuellen Fakten zu versorgen. Das Fine-Tuning kümmert sich um die Form der Ausgabe; RAG kümmert sich um das Wissen. Sie adressieren unterschiedliche Hälften des Problems.

Bleiben meine Daten mit RAG privat?

Das können sie. Weil RAG das Modell nicht ändert, müssen deine Dokumente nie in irgendjemandes Trainingsdaten wandern, und wenn du das Retrieval lokal mit lokalen Embeddings ausführst, können deine Daten vollständig auf deinem Rechner bleiben. Dieses local-first Setup ist der Datenschutzvorteil, den RAG gegenüber fine-tuning für persönliche Daten hat.

---

RAG versus fine-tuning ist eine echte Unterscheidung, und für sich änderndes Wissen gewinnt RAG. Aber die Debatte verbirgt das, was tatsächlich entscheidet, ob eine KI dich kennt: ob die Quelle, aus der sie liest, aktuell ist. Locul ist diese Schicht, ein Second Brain, das sich aus dem aufbaut, was du ohnehin produzierst, sich mit Überholung selbst aktuell hält, lokale Embeddings auf deinem Rechner ausführt und alles deiner KI über MCP bereitstellt. Lade es herunter und richte deine KI auf eine Quelle, die nicht veraltet.

Lies weiter: wie du KI zu deinen Notizen hinzufügst und was ein KI-Second-Brain ist.