Vorschau-Umgebung - hier siehst du auch noch nicht freigegebenen Content.
5 min

Ausblick

RAG ist nicht nur Text. Was multimodale RAGs anders machen, warum MCP-Server eine spannende Quelle sind, und welche Themen wir in einem späteren Tutorial vertiefen.

Wir haben einen Standard-RAG-Stack gebaut: Text-Korpus, Chunking, Embeddings, Vektor-DB, Retrieval, optional Rerank, LLM-Antwort. Das deckt schon erstaunlich viele Anwendungsfälle.

Trotzdem: das ist nur der Einstieg. Drei Pfade, denen wir später nachgehen.

Multimodal - RAG für alles, was kein Text ist

Embedding-Modelle können längst mehr als nur Text. Es gibt Vision-Embedder, die Bilder in denselben Vektorraum legen wie ihre Textbeschreibungen. Audio-Embedder für gesprochene Sprache. Code-Embedder für Quelltext.

Die RAG-Pipeline ändert sich kaum:

  • Statt „chunke Markdown" jetzt „extrahiere Frames aus dem Video" oder „extrahiere Funktionen aus dem Repo".
  • Statt eines Text-Embedders ein passendes multimodales Modell.
  • Retrieval und Top-K-Auswahl bleiben gleich.

Beispiel-Anwendungen: Suche in einer eigenen Foto-Sammlung, Code-Suche im monorepo, Antworten auf gesprochene Fragen aus Meeting-Transkripten.

RAG für MCP - Tools statt Dokumente

Ein interessanter Sonderfall: dein „Korpus" sind nicht statische Dokumente, sondern Tool-Beschreibungen - etwa von MCP-Servern (Model Context Protocol).

Statt dem Agenten alle 200 verfügbaren Tools in den Prompt zu legen, embeddest du die Tool-Beschreibungen, holst per RAG die 5 für die aktuelle Aufgabe relevantesten, und gibst nur die als verfügbar mit. Das spart massiv Kontext und macht Modelle, die Tool-Calling unter sehr vielen Tools nicht zuverlässig hinkriegen, wieder einsatzbar.

Dieser Pattern ist noch recht neu, aber sehr produktiv - wir bauen das in einem späteren Tutorial konkret durch.

Wohin von hier?

Was wir in v1 dieses Tutorials nicht angefasst haben - was sich aber lohnt:

  • Frische und Updates auf Production-Niveau: Document-Hashes, inkrementelles Re-Embedding, Hot-Reload.
  • Per-User-Corpora: jeder Nutzer lädt eigene Dokumente, alle teilen sich denselben Stack.
  • Cluster-große Korpora: ab Millionen Dokumenten lohnt es, Qdrant oder Weaviate gegen pgvector zu testen.
  • Agentic Retrieval: das LLM entscheidet selbst, welche Such-Strategie es wählt, paraphrasiert die Frage iterativ, kombiniert mehrere Retriever.

Aber für 90 % der praktischen Anwendungen reicht das, was du jetzt verstanden hast. Genau das ist die größte Stärke von RAG: das Konzept ist einfach, der Hebel enorm.

Diskussion· noch keine Beiträge

Unser Kommentar-Agent liest jeden neuen Beitrag, bedankt sich oder empfiehlt passende Inhalte.

Sei die erste Stimme - was denkst du dazu?

Melde dich an, um mitzudiskutieren.

Anmelden