Ausblick
RAG ist nicht nur Text. Was multimodale RAGs anders machen, warum MCP-Server eine spannende Quelle sind, und welche Themen wir in einem späteren Tutorial vertiefen.
Wir haben einen Standard-RAG-Stack gebaut: Text-Korpus, Chunking, Embeddings, Vektor-DB, Retrieval, optional Rerank, LLM-Antwort. Das deckt schon erstaunlich viele Anwendungsfälle.
Trotzdem: das ist nur der Einstieg. Drei Pfade, denen wir später nachgehen.
Multimodal - RAG für alles, was kein Text ist
Embedding-Modelle können längst mehr als nur Text. Es gibt Vision-Embedder, die Bilder in denselben Vektorraum legen wie ihre Textbeschreibungen. Audio-Embedder für gesprochene Sprache. Code-Embedder für Quelltext.
Die RAG-Pipeline ändert sich kaum:
- Statt „chunke Markdown" jetzt „extrahiere Frames aus dem Video" oder „extrahiere Funktionen aus dem Repo".
- Statt eines Text-Embedders ein passendes multimodales Modell.
- Retrieval und Top-K-Auswahl bleiben gleich.
Beispiel-Anwendungen: Suche in einer eigenen Foto-Sammlung, Code-Suche im monorepo, Antworten auf gesprochene Fragen aus Meeting-Transkripten.
RAG für MCP - Tools statt Dokumente
Ein interessanter Sonderfall: dein „Korpus" sind nicht statische Dokumente, sondern Tool-Beschreibungen - etwa von MCP-Servern (Model Context Protocol).
Statt dem Agenten alle 200 verfügbaren Tools in den Prompt zu legen, embeddest du die Tool-Beschreibungen, holst per RAG die 5 für die aktuelle Aufgabe relevantesten, und gibst nur die als verfügbar mit. Das spart massiv Kontext und macht Modelle, die Tool-Calling unter sehr vielen Tools nicht zuverlässig hinkriegen, wieder einsatzbar.
Dieser Pattern ist noch recht neu, aber sehr produktiv - wir bauen das in einem späteren Tutorial konkret durch.
Wohin von hier?
Was wir in v1 dieses Tutorials nicht angefasst haben - was sich aber lohnt:
- Frische und Updates auf Production-Niveau: Document-Hashes, inkrementelles Re-Embedding, Hot-Reload.
- Per-User-Corpora: jeder Nutzer lädt eigene Dokumente, alle teilen sich denselben Stack.
- Cluster-große Korpora: ab Millionen Dokumenten lohnt es, Qdrant oder Weaviate gegen pgvector zu testen.
- Agentic Retrieval: das LLM entscheidet selbst, welche Such-Strategie es wählt, paraphrasiert die Frage iterativ, kombiniert mehrere Retriever.
Aber für 90 % der praktischen Anwendungen reicht das, was du jetzt verstanden hast. Genau das ist die größte Stärke von RAG: das Konzept ist einfach, der Hebel enorm.
Diskussion· noch keine Beiträge
Unser Kommentar-Agent liest jeden neuen Beitrag, bedankt sich oder empfiehlt passende Inhalte.
Sei die erste Stimme - was denkst du dazu?
Melde dich an, um mitzudiskutieren.
Anmelden