AI-basis
Wat is een embedding?
Een embedding is een stuk tekst omgezet in een rij getallen die de betekenis ervan vastlegt. Teksten die hetzelfde betekenen krijgen rijen die dicht bij elkaar liggen. Daardoor kan een computer zoeken op betekenis in plaats van op letterlijke woorden.
Ook wel: Vectorrepresentatie
Het praktische verschil: een klassieke zoekfunctie op "factuur betalen" vindt niets in een document waarin "rekening voldoen" staat. Zoeken op embeddings vindt dat wel, omdat de twee zinnen in getallen bijna hetzelfde zijn.
Dit is de stap die RAG mogelijk maakt. Je knipt je documenten in stukken, zet elk stuk om in een embedding, en bewaart die in een vectordatabase. Komt er een vraag binnen, dan wordt ook die omgezet en zoek je de stukken die er het dichtst bij liggen.
De kwaliteit van het knippen doet er meer toe dan mensen denken. Knip je midden in een tabel of halverwege een voorwaarde, dan vindt het systeem straks een fragment dat op zichzelf niet klopt.
Verwante begrippen
Wat is RAG?
RAG staat voor retrieval-augmented generation. Het is de techniek waarbij een AI eerst de relevante stukken uit jouw eigen documenten opzoekt en pas daarna antwoord geeft, op basis van wat hij heeft gevonden. Zo beantwoordt een model vragen over jouw prijzen en processen zonder dat het daarop getraind is.
Lees verderWat is een vectordatabase?
Een vectordatabase is een database die embeddings opslaat en razendsnel kan opzoeken welke het dichtst bij een zoekvraag liggen. Het is de bewaarplaats onder een RAG-toepassing: daar staan je documenten in een vorm waarin een AI ze op betekenis kan doorzoeken.
Lees verderWat is een LLM?
Een LLM of large language model is een AI-model dat getraind is op grote hoeveelheden tekst en daarmee voorspelt welk woord logischerwijs volgt. Daar komt het schrijven, samenvatten en beantwoorden van vragen uit voort. Het model begrijpt niets; het herkent patronen in taal, heel precies en op enorme schaal.
Lees verder