[00:00]
Hallo und herzlich willkommen zu Inside
[00:02]
AI. Heute zum Thema Retrieval Augmented
[00:05]
Generation oder Kurz Rag.
[00:14]
Ja, das Thema RCK ist jetzt auch nicht
[00:16]
mehr ganz so neu. Ihr werdet
[00:17]
wahrscheinlich auch sagen, Tommy, es ist
[00:18]
doch jetzt schon im Jahr 2025, da kommst
[00:21]
du mir jetzt mit Re. Das war doch der
[00:23]
Hype von vom letzten Jahr. Ist doch ein
[00:25]
alter Hut. Wir haben jetzt
[00:26]
Agentensysteme
[00:28]
Search und Co. Und lange Kontextfenster
[00:31]
von einer Million und teil teilweise
[00:33]
darüber hinaus, da spielt R doch gar
[00:35]
keine Rolle mehr. Jain, also ganz so
[00:38]
einfach ist es natürlich nicht und
[00:39]
deshalb lohnt es sich dennoch auch
[00:41]
heutzutage noch darüber nachzudenken,
[00:43]
wie man das Thema Retrieval, das ist
[00:46]
nämlich tatsächlich eigentlich der
[00:47]
Kernpunkt, um den es hierbei geht,
[00:49]
nämlich das Zusammensuchen von
[00:52]
relevanten Informationen in Kombination
[00:55]
mit generativer KI im Einsatz bringen
[00:58]
kann. Und um das zu verstehen, schauen
[01:01]
wir uns einfach noch mal ganz kurz an,
[01:03]
wie denn der Mechanismus bei einem LM
[01:06]
funktioniert und zwar das sogenannte
[01:08]
Kontextfenster. Das heißt, ein LM, das
[01:11]
hat ich ja in den vorherigen Folgen auch
[01:12]
schon in einigen Teilen erklärt. Jedes
[01:15]
LM hat ein festdeiniertes
[01:18]
Kontextfenster, also eine Maximalanzahl
[01:21]
von sozusagen Tokens oder Wörtern, die
[01:24]
es verarbeiten kann. Und wenn man etwas
[01:27]
mit längeren mit mehr Tokens verarbeiten
[01:30]
will, dann muss man halt einfach
[01:31]
irgendwo vorne hinten in der Mitte was
[01:33]
abschneiden. Und es gibt mittlerweile
[01:36]
Modelle, die bis zu einer Millionen
[01:38]
Tokens verarbeiten können. Z.B. Gemini
[01:41]
2.5 Pro von Google. Das Problem dabei
[01:44]
ist aber immer noch, dass nur weil ein
[01:46]
Modell ein Kontextinster z.B. von einer
[01:49]
Million Tokens hat. Das nicht bedeutet,
[01:51]
dass es auch genauso gut mit diesen
[01:53]
vielen Tokens umgehen kann wie mit
[01:55]
weniger Tokens. Es bleibt also dabei, je
[01:58]
weniger Tokens ich den Modell mitgebe,
[02:01]
umso besser kann die Qualität sein. Und
[02:03]
das heißt, es ist entscheidend, was ich
[02:06]
dem Modell an Input mitgebe. Wenn wir in
[02:09]
Richtung Prompt Engineering denken, das
[02:11]
ist dann quasi der Userprompt, der dem
[02:13]
Modell mitgegeben wird. Das ist ein
[02:16]
essentieller Bestandteil in der in der
[02:17]
Arbeit mit diesen generativen Modellen,
[02:20]
die auf LMS basieren. Wir haben auch
[02:22]
immer einen Systemprompt, der jetzt im
[02:25]
Fall von ChatGPT oder Enhropic von den
[02:27]
KI Laboren vorgegeben wird. Im Fall von
[02:29]
Cloud 4 beispielsweise ist der
[02:32]
Systemprompt, glaube ich, 60.000 1000
[02:35]
Zeichen lang, also ein sehr sehr langer
[02:38]
Systemprompt und man muss also daher
[02:41]
nichtsdestotrotz immer noch ein bisschen
[02:43]
mit diesem Kontextfenster haushalten.
[02:46]
Und jetzt stellt sich die Frage, was
[02:49]
habe ich denn für Möglichkeiten, um mein
[02:52]
System zu verbessern, wenn ich
[02:54]
beispielsweise aktuelle Informationen
[02:55]
haben möchte. Ein Modell wird immer mit
[02:58]
einem Datensatz trainiert und wenn ich
[03:00]
jetzt nur dieses blanke Modell betreiben
[03:02]
würde, dann kann mir das Modell keine
[03:04]
Ereignisse wiedergeben, die noch nicht
[03:06]
im Trainingsdatenet enthalten waren,
[03:08]
weil das Modell diese einfach
[03:09]
schlichtwicht nicht kennt, noch nie
[03:11]
gesehen hat. Das heißt, wir müssen eine
[03:13]
Schnittstelle schaffen, mit der sich das
[03:15]
System sozusagen diese Informationen
[03:19]
herausziehen kann. Und da kommt nämlich
[03:20]
dann das Thema Retrieval Augmented
[03:22]
Generation ins Spiel, denn vereinfacht
[03:25]
gesagt heißt es nichts anderes als dass
[03:29]
wir Information aus einer beliebigen
[03:32]
Quelle entnehmen und in das
[03:34]
Kontextfenster unseres LMs überführen.
[03:38]
Und zwar können wir jetzt einmal das
[03:40]
ganze Thema hier als externe Information
[03:42]
bezeichnen und im einfachsten Fall
[03:47]
packen wir das Ganze dann mit in unser
[03:49]
Kontextfenster, im Prinzip mit in
[03:51]
unseren eigentlichen Userprompt und
[03:54]
natürlich für kleinere Textquellen, wenn
[03:56]
wir jetzt z.B. ein PDF haben, was nicht
[03:59]
allzu lang ist, wo hauptsächlich
[04:01]
Textinhalt drin ist, reicht es schon mit
[04:04]
Copypaste, können wir da reinpacken oder
[04:06]
wie bei ChatGPT einfach das PDF
[04:08]
hochladen und das Modell kann einfach
[04:10]
den gesamten Text mit verarbeiten. Wenn
[04:13]
wir uns das aber anschauen in der
[04:14]
Realität, z.B. auch in Unternehmen, da
[04:17]
haben wir ja unmengen von Daten,
[04:19]
unmengen von textuellen Daten und
[04:21]
anderen Daten, Unmengen von
[04:23]
Informationen. Und wenn ich jetzt eine
[04:25]
Antwort auf eine sehr spezifische Frage
[04:27]
bekommen möchte im Unternehmenskontext
[04:29]
beispielsweise, dann kann ich ja nicht
[04:31]
einfach alle Daten, die wir haben,
[04:32]
nehmen und in das Kontextfenster
[04:34]
reinladen.
[04:36]
funktioniert einfach nicht, weil es
[04:37]
schlichtwicht zu viele Daten sind und es
[04:41]
würde selbst, wenn es passen würde, die
[04:43]
Qualität nicht unbedingt
[04:45]
notwendigerweise verbessern, weil sehr
[04:46]
viele Informationen, die ich dem Modell
[04:48]
mitgebe, gar nicht relevant ist für die
[04:51]
Anfrage, die ich stelle. Das heißt, man
[04:54]
muss einen Mechanismus haben, mit dem
[04:56]
man relevante Informationen
[04:59]
identifizieren kann und dann nach Bedarf
[05:02]
in das Kontextfenster hereinladen kann.
[05:05]
Und ein Mechanismus, der sich
[05:06]
tatsächlich gerade auch, sag ich mal, in
[05:08]
den letzten beiden Jahren, der sehr sehr
[05:10]
stark auch gehyped wurde, ist das Thema
[05:12]
der sogenannten Embeddings. Und zwar ist
[05:16]
häufig wird RCK mit Embeddings
[05:18]
gleichgesetzt. Das ist aber schlichtweg
[05:21]
falsch, denn es ist nur eine Art von
[05:24]
Informationsidentifikationsmechanismus.
[05:26]
Und bei den Embeddings ist es so, dass
[05:28]
es tatsächlich eine Technologie, die
[05:30]
schon lange eingesetzt wird, immer dann,
[05:32]
wenn es um die sogenannte semantische
[05:34]
Suche ging. Bei der semantischen Suche
[05:37]
anders als bei der Stichwortsuche, wo
[05:38]
ich nach einzelnen Worten gesucht habe
[05:40]
und immer dann, wenn dieses Wort in
[05:42]
einem Quelltext auftaucht, dann wird mir
[05:44]
der entsprechende Quelltext gezeigt. Bei
[05:46]
einer semantischen Suche ist es so, dass
[05:49]
man mit Ähnlichkeiten arbeiten kann. Das
[05:51]
heißt, ich kann eine Suchanfrage
[05:52]
eingeben und mir werden ähnliche
[05:55]
Ergebnisse angezeigt. das im Prinzip
[05:57]
auch nichts anderes als bei einer Google
[05:59]
Suche. Hinter der Google Suche steckt
[06:01]
der Knowledge Graph von Google und
[06:03]
dieser Knowledge Graph arbeitet unter
[06:06]
anderem auch mit diesen Mbeddings. Und
[06:09]
im Prinzip vereinfacht gesagt ist es
[06:11]
einfach eine mathematische
[06:13]
Repräsentation von Inhalten. Man
[06:15]
encodiert quasi Textabschnitte in Zahlen
[06:20]
und kann dann Ähnlichkeiten berechnen.
[06:22]
Man kann also sagen, wie ähnlich zwei
[06:25]
Sätze z.B. zueinander sind. Das ist dann
[06:27]
im Prinzip eine mathematische
[06:28]
Berechnung, die durchgeführt wird und
[06:30]
diese Ähnlichkeit wird dann auch in Form
[06:32]
einer Zahl mir ausgegeben. Und wenn ich
[06:35]
jetzt Informationen in meinem ganzen
[06:37]
Wissensschatz im Unternehmen
[06:38]
beispielsweise identifizieren möchte,
[06:41]
dann bietet es sich unter Umständen an
[06:43]
tatsächlich mit diesen Embeddings zu
[06:44]
arbeiten. Das hat den Vorteil, ich
[06:46]
brauche nicht mehr nur über Stichworte
[06:48]
zu suchen, sondern kann diese
[06:50]
semantischen Suchen auch durchführen.
[06:52]
Das heißt, ich brauche nicht genau zu
[06:54]
wissen, welche Terminologie jetzt da
[06:56]
verwendet wurde in dem Dokument oder
[06:58]
Abschnitt, den ich da gerade suche,
[07:00]
sondern es reicht, wenn ich etwas
[07:02]
formuliere, was einfach eine hohe
[07:03]
Ähnlichkeit mit diesem Text hat.
[07:06]
Der Nachteil bei Verwendung dieses
[07:08]
Systems ist, diese Embedings müssen
[07:11]
berechnet werden. Das heißt, das ist
[07:12]
eine rechenintensive Aufgabe. Der
[07:15]
gesamte Text, den man da hinterlegen
[07:17]
möchte in dieser Embeddingsdatenbank,
[07:19]
der muss erstmal überführt werden. Und
[07:22]
jedes Mal, wenn ich neue Informationen
[07:24]
in was auch immer für einer Textform
[07:26]
ablege, muss ich quasi weitere
[07:28]
Embeddings berechnen. Das heißt, es ist
[07:30]
kontinuierlicher zusätzlicher
[07:32]
Rechenaufwand, der dazu kommt.
[07:35]
Das ist auch der Grund, warum die
[07:37]
semantische Suche alleine nicht immer
[07:39]
der Schlüssel zum Ziel ist oder der
[07:41]
richtige Weg ist. Es gibt auch Ansätze,
[07:44]
wo man mit der einfachen Stichwortsuche
[07:45]
teilweise sogar bessere Ergebnisse
[07:47]
erzielen kann, als rein mit Embeddings.
[07:50]
In der Praxis ist es im Prinzip immer
[07:52]
eine Kombination aus vielen
[07:54]
verschiedenen Ansätzen. Und
[07:57]
letztendlich, wenn wir z.B. zb ChatGPT
[07:59]
benutzen und Chat GPT im Hintergrund
[08:01]
eine Websuche durchführt, ist es
[08:03]
letztendlich auch nichts anderes als
[08:05]
eine Art ein Mechanismus der
[08:07]
Informationsextraktion,
[08:10]
im Prinzip ein Retrieval Mechanismus.
[08:13]
Und was ich jetzt in letzter Zeit immer
[08:15]
weiter abzeichnet, sind, dass diese
[08:18]
Modelle sehr gut darin sind, Tools
[08:21]
einzusetzen. Tools, die von den KI
[08:23]
Laboren fest definiert sind, wie z.B.
[08:25]
wie die Websuche, aber auch Tools, die
[08:27]
wir beispielsweise mittels MCP Protokoll
[08:30]
dann an die LMS anbinden. Dazu hatte ich
[08:33]
ja auch schon ein Video gemacht. Schaut
[08:34]
euch das gerne noch mal an, wenn ihr
[08:36]
mehr dazu erfahren möchtet. Und das ist
[08:39]
auch der Grund, warum Retrieval
[08:40]
Augmented Generation weiterhin wichtig
[08:43]
ist. Vielleicht ist der Begriff ein
[08:45]
wenig abgenutzt. Nichtsdestotrotz
[08:48]
brauchen wir weiterhin das Information
[08:50]
Retrieval und das ist häufig tatsächlich
[08:52]
auch eher der Schlüssel, um diese
[08:53]
Technologien im Unternehmenskontext
[08:56]
gut einsatzbar und nutzbar zu machen.
[08:58]
Denn wenn mir das Modell nicht die
[09:01]
relevanten Informationen identifizieren
[09:03]
kann, die ich jetzt für meine Anfrage
[09:04]
brauche, wird es mir auch keine gute
[09:06]
Antwort geben können. Und deshalb wird
[09:09]
sehr stark daran gearbeitet. Wir haben
[09:11]
in verschiedenen Projekten auch schon
[09:13]
mehrfach verschiedene Lösungen
[09:14]
aufgesetzt im Kontext des Retrieval
[09:17]
Manage Generation und wie ich schon
[09:19]
gesagt habe, ist es meistens die
[09:21]
Kombination aus vielen verschiedenen
[09:23]
Datenquellen, die angeknüpft werden. Das
[09:25]
können z.B. auch SQL Datenbanken sein,
[09:28]
wo dann Suche über die strukturierten
[09:30]
Daten ausgeführt werden. Und hier ist es
[09:33]
wichtig, sich frühzeitig Gedanken über
[09:36]
die bestmöglichen Formate zu machen, die
[09:38]
man hinterlegen möchte. PDFs
[09:40]
beispielsweise finden sich natürlich in
[09:41]
vielen Unternehmen. Allerdings ist das
[09:43]
nicht unbedingt das beste Format, weil
[09:45]
es wenig standardisiert ist. Tatsächlich
[09:48]
es ist sehr mühselig aus einem PDF z.B.
[09:51]
nur den Text und die Bilder separat und
[09:53]
dann die Bilder zu beschreiben zu
[09:55]
extrahieren. Das ist da gibt es
[09:57]
natürlich verschiedene Anbieter und
[09:59]
Mechanismen, die das tun. Das ist
[10:00]
allerdings äh ich sag mal unnötig
[10:02]
aufwendig, wenn wir der die
[10:04]
Informationen auch in reiner Textform
[10:06]
bereitstellen könnten. Das heißt, es
[10:09]
wird jetzt immer spannender für
[10:11]
Unternehmen, die generative KI nutzen
[10:13]
möchten, die Frage zu beantworten, wie
[10:15]
wir denn für die Zukunft unsere
[10:17]
Information und unser Wissen bestmöglich
[10:20]
ablegen, bestmöglich strukturieren,
[10:22]
damit sowohl Menschen als auch KI
[10:25]
Systeme ideal damit arbeiten können und
[10:28]
die sichten auf diese Informationen, ob
[10:31]
es jetzt ein PDFDument ist, ob es jetzt
[10:33]
eine PowerPoint Präsentation ist oder
[10:34]
ein Word Dokument, das lässt sich
[10:36]
letztendlich
[10:37]
relativ einfach aus den Daten, die wir
[10:41]
dann sinnvoll abgelegt haben, erzeugen.
[10:43]
Das heißt, wir kommen hier in einen
[10:45]
Modus, wo wir gar nicht mehr die Dateien
[10:47]
notwendigerweise ablegen müssen, die wir
[10:49]
hinterher verwenden wollen, sondern die
[10:51]
Dateien werden dann onemand vielleicht
[10:53]
erzeugt. Wichtig ist, dass die
[10:55]
Informationen zugänglich abgelegt sind
[10:57]
und eine Technologie, die hier
[10:58]
sicherlich auch zunehmend spannend wird,
[11:00]
ist das ganze Thema der der
[11:02]
Wissensgrafen. Also ähnlich wie Google
[11:04]
es mit dem Wissensgraf verwendet, gibt
[11:06]
es natürlich auch im Unternehmenskontext
[11:09]
Grafdatenbanken, die dann verschiedene
[11:11]
Ansätze kombinieren und vor allem sehr
[11:13]
gut Zusammenhänge zwischen
[11:14]
unterschiedlichen Datenquellen
[11:16]
darstellen können und über die dann halt
[11:19]
dieser Retrieval Mechanismus vielleicht
[11:21]
sogar noch mal mächtiger wird, weil ich
[11:23]
eben neben der semantischen Suche oder
[11:25]
der Stichwortsuche oder der
[11:26]
strukturierten Suche plötzlich auch
[11:28]
dieses Relationswissen
[11:30]
über die einzelnen Daten habe. und so
[11:33]
vielleicht deutlich schneller, einfacher
[11:35]
und besser das relevante Wissen
[11:37]
identifizieren kann. Viele Frameworks
[11:40]
bieten auch bereits Mechanismen an, um
[11:44]
mit RC zu starten. Wenn man jetzt
[11:46]
beispielsweise mit Python arbeitet, kann
[11:48]
ich das Agno AGI Framework tatsächlich
[11:51]
ans Herz legen. ist ein agentisches
[11:53]
Framework, mit dem man Agentensysteme
[11:55]
bauen kann, das auch sehr viele
[11:58]
verschiedene Mechanismen des Retrieval
[12:00]
Augmented Generation ermöglicht und wo
[12:03]
man sehr klein anfangen kann, sehr
[12:06]
einfache entweder Textdateien,
[12:07]
PDF-Dateien oder was auch immer
[12:09]
Wissensquellen hinterlegen kann. Bei
[12:11]
PDF, wie gesagt, muss man immer darüber
[12:13]
nachdenken. Das Ganze muss dann immer on
[12:15]
the Fly umgewandelt werden und kann dazu
[12:17]
führen, dass die Ergebnisse nicht ganz
[12:19]
so gut sind, aber nichtsdestotrotz ist
[12:21]
das ein sehr, sehr guter Starkpunkt, um
[12:24]
damit anzufangen, wenn man es noch nicht
[12:26]
getan hat. Und das Thema ist auf jeden
[12:29]
Fall weiterhin, wie gesagt, brandheiß,
[12:32]
auch wenn vielleicht einige andere
[12:33]
Hypthemen aktuell eher wog sind, aber
[12:36]
schaut euch doch mal an, wie ihr das
[12:38]
Thema bei euch in euren Organisationen
[12:40]
angeht. Habt ihr damit schon gute
[12:43]
Erfahrung gemacht? Habt ihr damit
[12:44]
schlechte Erfahrungen gemacht? Hat es
[12:46]
vielleicht noch nicht funktioniert, als
[12:47]
ihr es ausprobiert habt? Lasst uns gerne
[12:50]
Kommentare zu dem Thema da und ich freue
[12:52]
mich, wenn es das nächste Mal auch
[12:54]
wieder heißt Inside AI. Aber bevor ich
[12:56]
euch entlasse, möchte ich euch noch den
[12:58]
Tipp geben, doch auch noch mal in
[12:59]
unseren Podcast Out Time reinzuhören, wo
[13:02]
Roman Dumitrescu und ich technologische
[13:04]
Zukunftsvisionen diskutieren, in jeder
[13:07]
Folge ein neues Gedankenexperiment uns
[13:09]
anhören, wie denn bestimmte Technologien
[13:12]
unsere Zukunft verändern könnten. Hört
[13:14]
gerne auch da mal rein und wir sehen uns
[13:17]
beim nächsten Mal, wenn es heißt Inside
[13:18]
AI.
[13:22]
Ah.