Löwen Codex / Magazin / Artikel
KI-Architektur

Fine-Tuning, RAG oder Prompting: der richtige Weg

Es gibt drei Wege, einer KI das Wissen eines Unternehmens beizubringen. Wer den falschen wählt, zahlt zu viel, wartet zu lange oder bekommt Antworten, die veraltet sind.

Autor Julien MarschallVeröffentlicht 2026-07-15Lesezeit 7 Min.

Ein Sprachmodell weiß viel über die Welt, aber nichts über Ihr Unternehmen — nicht Ihre Preise, nicht Ihre Prozesse, nicht Ihre letzten Verträge. Die entscheidende Frage jeder KI-Einführung lautet: Wie kommt das eigene Wissen ins Modell? Es gibt drei Antworten, und die meisten Fehlentscheidungen entstehen, weil sie verwechselt werden.

Prompting: Wissen im Moment mitgeben

Beim Prompting geben Sie dem Modell die nötige Information direkt in der Anfrage mit — als Kontext, Beispiel oder Anweisung. Kein Training, keine Infrastruktur, sofort einsetzbar. Für viele Aufgaben reicht das vollständig: ein gut formulierter Prompt mit den relevanten Fakten löst mehr Probleme, als die meisten glauben. Die Grenze ist die Menge: Was nicht in den Kontext passt, kann das Modell nicht nutzen.

RAG: Wissen zur Laufzeit nachschlagen

Retrieval-Augmented Generation verbindet das Modell mit einer durchsuchbaren Wissensbasis. Bei jeder Anfrage werden die passenden Dokumente gesucht und dem Modell als Kontext mitgegeben. Das Wissen bleibt außerhalb des Modells — in Ihren Dokumenten, die Sie jederzeit aktualisieren.

  • Aktualität: Ein neues Dokument ist sofort verfügbar, ohne Neutraining.
  • Nachvollziehbarkeit: Die Antwort lässt sich auf die Quelle zurückführen — entscheidend für Vertrauen und Prüfung.
  • Datenkontrolle: Sensible Daten bleiben in Ihrer Wissensbasis, statt in ein Modell einzufließen.

Für die meisten Unternehmen ist RAG der richtige Startpunkt. Es löst das häufigste Problem — aktuelles Firmenwissen abrufbar machen — ohne die Kosten und Risiken des Trainings.

Fine-Tuning: dem Modell Verhalten antrainieren

Beim Fine-Tuning trainieren Sie das Modell mit eigenen Beispielen nach. Wichtig zu verstehen: Fine-Tuning bringt dem Modell nicht primär neue Fakten bei, sondern ein neues Verhalten — einen bestimmten Stil, ein Format, eine Aufgabenlogik. Wenn Tausende Beispiele zeigen, wie eine Antwort aussehen soll, verinnerlicht das Modell das Muster. Für Fakten, die sich ändern, ist es der falsche Weg: Jede Aktualisierung erfordert neues Training.

Die Entscheidungslogik

  • Statisches, kleines Wissen und einfache Aufgabe? Prompting genügt.
  • Großes, sich änderndes Wissen, das abrufbar sein muss? RAG.
  • Konstanter Stil, festes Format oder spezialisierte Aufgabe bei ausreichend Beispielen? Fine-Tuning — oft in Kombination mit RAG.

Der häufigste teure Fehler

Fine-Tuning als Erstes zu wählen, weil es am fortschrittlichsten klingt. In der Praxis lösen Prompting und RAG die meisten Anwendungsfälle schneller, günstiger und wartungsärmer. Fine-Tuning ist kein Anfänger-Werkzeug, sondern der letzte Schliff für Fälle, in denen Verhalten und Format über bloße Faktenabfrage hinausgehen. Wer mit dem teuersten Werkzeug beginnt, verbrennt Budget an einem Problem, das ein guter Prompt gelöst hätte.

Die Kombination ist die Regel, nicht die Ausnahme

In reifen Systemen arbeiten die drei Wege zusammen: RAG liefert aktuelle Fakten, ein durchdachtes Prompting steuert die Aufgabe, und selektives Fine-Tuning sorgt für konstanten Ton und Format. Der Aufbau eines KI-Betriebssystems beginnt aber immer beim einfachsten Werkzeug — und erweitert nur dann, wenn eine konkrete Grenze erreicht ist.

Vom Prototyp zum Betriebssystem

KI-Agenten mit Evals, Governance und Freigabeprozessen — damit Automatisierung produktionsreif wird.

Kontakt →

Häufige Fragen

Brauche ich Fine-Tuning, wenn ich Firmenwissen einbinden will?
Meist nicht. Für aktuelles, sich änderndes Firmenwissen ist RAG der bessere Weg, weil es Fakten abrufbar und aktualisierbar hält. Fine-Tuning lohnt sich vor allem für konstanten Stil, festes Format oder spezialisierte Aufgabenlogik.
Was ist der günstigste Einstieg?
Prompting. Es erfordert keine Infrastruktur und löst mehr Aufgaben als erwartet. Reicht der Kontext nicht aus, ist RAG der nächste Schritt. Fine-Tuning kommt erst, wenn Verhalten und Format es wirklich verlangen.