Tekst-embeddings forklaret: sådan fungerer de [+eksempler]

Hvis du kender det grundlæggende koncept bag tekstembeddings, men undrer dig over, hvordan du kan bruge dem i praksis, er du kommet til det rette sted. Vi dissekerer vektorer, tokenisering og similaritetsberegning, dykker ned i kaninhullet om evaluering af embeddingmodeller og viser dig konkrete anvendelser fra den virkelige verden.

Hvad er tekstembeddings?

Tekstembeddings er numeriske repræsentationer af ord, sætninger eller dokumenter, der indfanger deres semantiske betydning og indbyrdes relationer. De genereres af embeddingmodeller, som konverterer tekst til vektorer – arrays af tal, som maskinlæringsalgoritmer kan behandle og sammenligne.

ML-ingeniører bruger tekstembeddings til at hjælpe softwareapplikationer med at genkende relationer mellem ord og sætninger, så det bliver lettere at søge i, kategorisere og analysere store mængder data.

Forestil dig, at du modtager tusindvis af supporthenvendelser hver dag. Kunderne rapporterer alle tænkelige problemer, men du skal kategorisere og mærke dem. En måde at automatisere processen på er at bruge en forudtrænet tekstembeddingmodel til at konvertere hver henvendelse til en vektor.

To kunder sender for eksempel følgende beskeder:

• »Jeg er blevet opkrævet to gange for mit abonnement«: [0.21, -0.47, 0.83, ...]
• »Der er en dobbelt betaling på min konto«: [0.19, -0.45, 0.80, ...]

Disse vektorer er forenklede og kun til illustration.

Selvom kunderne bruger forskellige ord, beskriver de det samme problem. Embeddingmodellen indfanger denne relation ved at placere deres vektorer tæt på hinanden i et matematisk rum. Begge henvendelser bliver kategoriseret og sendt videre til faktureringsteamet.

Anvendelser af tekstembeddings i erhvervslivet

Tekstembeddings bruges i en række opgaver inden for naturlig sprogbehandling (NLP), herunder:

• Semantisk søgning: Søgning efter relevant information ud fra betydning. Delivery Hero bruger produkt- og forespørgselsembeddings sammen med søgeordssøgning for at hjælpe dagligvarekunder med at finde relevante produkter. En søgning på »fedtfattig yoghurt« kan for eksempel fremhæve græsk yoghurt eller yoghurt med 0,5 % fedt, selv uden et præcist ordmatch.
• Tekstklassificering: Kategorisering af tekst, f.eks. identifikation af spammails eller sortering af dokumenter efter emne. MindCraft.ai har udviklet et dokumentklassificeringssystem, der bruger transformerbaserede tekstembeddings og maskinlæring til at kategorisere virksomhedsdokumenter og identificere følsomme oplysninger med henblik på overholdelse af GDPR.
• Klyngedannelse: Gruppering af lignende dokumenter eller tekststykker for at identificere mønstre. Doczy.ai konverterer kontrakttekst til embeddings og grupperer semantisk relaterede klausuler og begreber, selv når forskellige kontrakter udtrykker lignende forpligtelser med forskellige formuleringer.
• Retrieval-augmented generation (RAG): Hentning af relevant information, som en LLM kan bruge til at generere mere præcise og kontekstbevidste svar. Ring bruger tekstembeddings fra Amazon Titan i en flersproget RAG-chatbot til at hente relevant supportdokumentation, før den genererer svar på kundernes spørgsmål på tværs af internationale markeder.
• Anbefalingssystemer: Forslag til relaterede artikler, produkter eller andet indhold baseret på tekstmæssige ligheder. LinkedIns JUDE-system bruger LLM-genererede tekstembeddings af jobbeskrivelser og medlemsprofiler til at forbedre jobanbefalinger og indfanger relationer mellem kandidaternes baggrund og ledige stillinger.
• Named entity recognition (NER): Identifikation og klassificering af navne på personer, organisationer og steder i tekst. Amazon Health Services bruger NER til at identificere medicinske begreber i kundernes forespørgsler, såsom sygdomme, symptomer, medicin og behandlinger. Denne forståelse kombineres med embeddingbaseret similaritetssøgning for at forbinde forespørgsler med relevante sundhedsprodukter og -tjenester.
• Maskinoversættelse: Understøttelse af modeller, der oversætter tekst mellem sprog. Transglot bruger tekstembeddings i semantisk oversættelseshukommelse til at identificere tidligere oversatte passager med lignende betydning, så arbejdsprocesser for lokalisering kan genbruge eksisterende oversættelser.

Hvordan fungerer tekstembeddings?

Hvordan beslutter en embeddingmodel så, hvilke numeriske værdier et stykke tekst skal tildeles, og hvorfor skal vi stole på den?

Det hele starter med træning. Embeddingmodeller lærer af store samlinger af tekst og leder efter mønstre i, hvordan ord bruges sammen. Traditionelle modeller som Word2Vec lærer for eksempel ved at forudsige et ord ud fra de omgivende ord eller omvendt. Moderne modeller, der er målrettet informationssøgning, bruger ofte kontrastiv læring. De trænes til at give relevante par af forespørgsel og dokument højere similaritetsscorer end urelaterede par.

Udvid

Når modellen er trænet, sker der følgende, når du giver den et nyt stykke tekst:

1. Tokenisering. Modellen opdeler først teksten i mindre dele kaldet tokens. Det kan være hele ord, dele af ord eller tegnsætningstegn. Hvert token får et numerisk id fra modellens ordforråd, som ikke i sig selv har nogen betydning.
2. Kodning og pooling. Modellen behandler disse tokens ved hjælp af de mønstre, den har lært under træningen, og producerer en vektor. Hvert tal i vektoren er en koordinat eller komponent, og en dimension er den akse, langs hvilken tallet definerer vektorens position. Hver værdi bidrager til tekstens position i et matematisk rum, kendt som et embeddingrum.
3. Similaritetsberegning. For at finde relateret tekst sammenligner et søgesystem forespørgslens embedding med dokumenternes embeddings ved hjælp af et similaritetsmål som cosinussimilaritet eller skalarprodukt

Det er for eksempel sådan, webbutikker returnerer matchende varer på en brugers forespørgsel.

Hvad er forskellen på ord-, sætnings- og dokumentembeddings?

Udvid

Den største forskel er, hvor meget tekst hver embedding repræsenterer i en enkelt vektor. Du kan oprette embeddings for enkelte ord, komplette sætninger eller hele dokumenter, afhængigt af hvilken information du vil indfange.

• Ordembeddings indfanger relationer mellem enkelte ord og genkender, at »nedbrud« og »nedetid« er relaterede begreber.
• Sætningsembeddings forstår betydningen af hele sætninger, selv når de udtrykker den samme idé med forskellige ord.
• Dokumentembeddings repræsenterer et helt dokument som én vektor i stedet for at oprette en separat vektor for hver sætning. Det hjælper med at bevare det overordnede emne og finde andre dokumenter, der dækker det samme emne; detaljer kan dog være sværere (hvis ikke umulige) at hente frem.

Hvor granulært skal du gå til værks? Det rette niveau afhænger af dine data og af, hvad du forsøger at opnå.

For større dokumenter er det almindelig praksis at opdele teksten i mindre chunks og generere en separat embedding for hver. På den måde får du både dokumentets overordnede betydning OG specifikke detaljer, som ellers kan gå tabt med dokumentembeddings.

Hvor meget påvirker chunkstørrelsen kvaliteten af embeddings?

En hel del. Ifølge Rahul Kumar, VP for AI-engineering hos Xenoss, består udfordringen i at finde en chunkstørrelse, der indfanger én komplet idé uden at miste vigtig kontekst. Han forklarer afvejningen:

»Chunkstørrelsen bestemmer, hvor meget semantisk kontekst én embedding bærer. En større chunk giver vektoren mere kontekst, men den blander også flere emner sammen til et gennemsnit i én vektor. En chunk, der dækker tre emner, havner i midten og matcher ingen af dem godt. En mindre chunk holder betydningen skarp, men den kan miste den kontekst, der gjorde den mulig at finde.«

Derfor anbefaler Kumar at vælge en chunkingstrategi ud fra indholdet i stedet for at holde fast i én fast størrelse. Som han udtrykker det: »Fast størrelse med overlap er kun fint til ensartet tekst som e-mails eller scrapede websider.«

Til strukturerede dokumenter som kontrakter eller politikker passer rekursiv, strukturbevidst opdeling bedre. Semantisk chunking kan derimod fungere godt til transskriptioner, fordi den opdeler teksten der, hvor emnet eller betydningen skifter.

Tekstembeddings vs. søgeordssøgning

Hvorfor bruge tekstembeddings, når du blot kan søge efter søgeord? Fordi søgeordssøgning er afhængig af matchende termer, mens embeddingbaseret semantisk søgning kan finde relevant information, selv når forespørgslen og dokumentet bruger forskellige ord.

Men semantisk lighed betyder ikke altid relevans. Shaw Talebi, grundlægger af AI Builder Academy, demonstrerer denne begrænsning med et system til søgning i CV'er. I Talebis tilfælde nævnte kun ét af de fem øverste resultater Apache Airflow ved en søgning efter en »dataingeniør med erfaring i Apache Airflow«, og det lå på tredjepladsen – selvom tre andre CV'er i datasættet angav netop den kompetence.

Det betyder, at semantisk søgning er nyttig til at finde begrebsmæssigt relateret information, men den kan overse præcise krav som tekniske kompetencer, produkt-id'er eller fejlkoder.

For at løse dette problem anbefaler Rahul Kumar at vælge en søgetilgang ud fra, hvor søgesystemet kommer til kort:

• Hybridsøgning (kombinationen af søgeordsmatch og semantisk søgning) er standardvalget, når forespørgsler indeholder præcise termer som varenumre (SKU'er), fejlkoder eller juridiske henvisninger.
• Rerankere er omkostningen værd, når kun de få øverste resultater betyder noget, f.eks. ved svar, der genereres ud fra hentet kontekst.
• Grafbaseret søgning hjælper, når svaret spænder over flere forbundne datakilder.

Kumar fortalte også, hvordan hans team omsatte disse tilgange til praksis. I ét projekt kørte de BM25-søgeordssøgning og vektorsøgning side om side, flettede resultaterne med reciprocal rank fusion (RRF) og brugte en LLM til at omrangere de 124 øverste resultater ned til 6.

»Overgangen til graph-first-søgning, hvor vektorsøgning finder lignende latente rum efterfulgt af en graftraversering med to hop, hævede rangeringskvaliteten (nDCG) fra 0,58 til 0,67 og reducerede p90-søgetiden fra 19 s til under 3 s«, tilføjer Kumar.

Typer af tekstembeddingmodeller

Alle embeddingmodeller gør stort set det samme – de lærer relationer i tekst. De adskiller sig dog i forhold til den opgave, de er trænet til, hvilken information de tager i betragtning, og hvilke opgaver de er designet til at håndtere.

Statiske ordembeddingmodeller

Traditionelle ordembeddingmodeller lærer tætte numeriske repræsentationer af ord ud fra mønstre i ordbrug på tværs af store tekstsamlinger. Disse embeddings er statiske, hvilket betyder, at hvert ord får den samme vektor uanset dets betydning i en bestemt kontekst.

To velkendte metoder er:

• Word2Vec: Den blev udviklet af Google i 2013 og lærer repræsentationer ud fra naboord ved hjælp af to arkitekturer: Continuous Bag of Words (CBOW), som forudsiger et ord ud fra dets naboer, og skip-gram, som forudsiger naboord ud fra et givet ord.
• GloVe (Global Vectors for Word Representation): Den blev udviklet på Stanford i 2014 og bruger statistik over ords samforekomst til at lære relationer mellem ord.

Kontekstualiserede sprogmodeller

I modsætning til statiske embeddings producerer generelle sprogmodeller kontekstuelle repræsentationer, der ændrer sig afhængigt af den omgivende tekst. Det hjælper modellerne med at skelne mellem forskellige betydninger af det samme ord.

• BERT (2018, Google): Bruger tovejs self-attention til at tage højde for ord på begge sider af et token. Den genererer for eksempel forskellige repræsentationer af »frø« i »Jeg plantede et frø i haven« og »En frø hoppede ned i søen«.
• GPT (2018, OpenAI): Bruger transformerbaserede repræsentationer, der tager højde for den foregående tekst, mens det næste token forudsiges. GPT-modeller er primært designet til sproggenerering.

Embeddingmodeller for sætninger og dokumenter

De repræsenterer længere tekststykker, fra enkelte sætninger til afsnit og hele dokumenter, som vektorer.

• Doc2Vec: Udvider læring i stil med Word2Vec til sætninger, afsnit og dokumenter. Den kan hjælpe med at gruppere relaterede artikler eller klassificere dokumenter efter emne.
• Universal Sentence Encoder (USE): Udviklet af Google i 2018 til at generere repræsentationer med fast længde af sætninger og korte afsnit til semantisk lighed og tekstklassificering.
• Sentence-BERT (SBERT, 2019): Den blev udviklet af Nils Reimers og Iryna Gurevych ved Technische Universität Darmstadt, bygger på Googles BERT-model og bruges ofte til semantisk søgning, detektion af parafraser og klyngedannelse.
• pplx-embed-v1 (2026, Perplexity): Denne familie af førende tekstembeddingmodeller er bygget til informationssøgning i den virkelige verden og i webskala og bruger diffusionsbaseret forudtræning til at omdanne en kausal sprogmodel til en tovejs encoder. Den genererer tætte embeddings for uafhængigt kodede forespørgsler og dokumenter og bruger kvantiseringsbevidst træning til at reducere lageromkostningerne. Vores 4B INT8-model opnåede 69,66 nDCG@10 på det flersprogede MTEB-benchmark for informationssøgning sammenlignet med 67,71 for Googles gemini-embedding-001.
• pplx-embed-context-v1 (2026, Perplexity): Løser et almindeligt problem ved dokumentchunking: Passager kan miste deres betydning, når de adskilles fra den omgivende tekst. Med late chunking behandler modellen dokumentet, før kontekstualiserede tokenrepræsentationer pooles til separate chunk-embeddings. Vores 4B-model opnåede 81,96 nDCG@10 på ConTEB sammenlignet med 79,45 for voyage-context-3.
• pplx-embed-v2-context (2026, Perplexity): Tager kontekstuel informationssøgning et skridt videre. I stedet for kun at blive trænet til at finde den passage, der indeholder et svar, lærer modellen at identificere understøttende passager, der hjælper med at forklare eller verificere svaret. Under træningen bruger modellen relevanssignaler destilleret fra en model til kontekstkomprimering, uden at denne lærermodel er nødvendig ved inferens. Vores 9B-preview opnåede 45,5 % recall for svar og 40,6 % recall for evidens ved 10 resultater på context-bench.

Perplexitys modeller gør det også muligt at lagre embeddings i stor skala. Modellerne producerer INT8- og binære embeddings, hvilket reducerer lagerkravene med henholdsvis 4 og 32 gange sammenlignet med FP32.

Dimensioner, kontekstlængde, kvantisering og poolingkonfiguration for pplx-embed-modeller

Tætte, sparse og multivektor-embeddings

Der er endnu en sondring, som er værd at forstå, især når det gælder semantisk søgning. Embeddingmodeller kan være forskellige i, hvordan de repræsenterer tekst og beregner relevans.

• Tætte embeddings: Repræsenterer tekst ved hjælp af kompakte vektorer, hvor de fleste værdier er forskellige fra nul.
• Sparse embeddings: Bruger vektorer, hvor de fleste værdier er nul, med lærte vægte knyttet til vigtige termer. Modeller som SPLADE (2021) lærer, hvilke termer der er vigtige for at hente relevante dokumenter.
• Multivektor-embeddings: Bevarer flere vektorer for et tekststykke, hvilket muliggør mere detaljerede sammenligninger mellem forespørgsler og dokumenter. Modeller som ColBERT (2020) bruger disse repræsentationer til finmaskede sammenligninger mellem forespørgsel og dokument.
• Modeller, der kombinerer flere tilgange: BGE-M3 (2024), der er udviklet af BAAI, understøtter tæt, sparse og multivektor-søgning i den samme model.

Sådan vælger og evaluerer du en tekstembeddingmodel

Offentlige benchmarks som MTEB er et godt udgangspunkt. Brug dem til at udvælge to eller tre modeller, der understøtter dine sprog, inputlængder og krav til udrulning. Men udnævn ikke en vinder endnu. Vi kan ikke understrege nok, hvor vigtigt det er at teste modellerne på dine egne data.

Her er en praktisk arbejdsproces for evaluering:

1. Opbyg et testdatasæt. Indsaml 50–100 repræsentative søgeforespørgsler som et indledende evalueringssæt (du kan få brug for flere), herunder vanskelige tilfælde som omskrivninger, teknisk terminologi og præcise fejlkoder. Identificer for hver forespørgsel, hvilke dokumenter eller passager der indeholder relevante svar. Disse relevansetiketter bliver dit facit.
2. Mål genfindingskvaliteten. Test hver model på det samme evalueringsdatasæt, og hold betingelserne for dokumentforberedelse og genfinding sammenlignelige, mens du følger de modelspecifikke krav til formatering af forespørgsler, normalisering og similaritetsscoring. Beregn derefter følgende metrikker med Sentence Transformers’ InformationRetrievalEvaluator:
   • Recall@k: Angiver andelen af relevante passager, der optræder blandt de øverste k resultater.
   • MRR: Måler, hvor højt det første relevante resultat placeres i rangeringen.
   • nDCG@k: Måler, hvor godt de øverste k resultater er rangeret ud fra deres relevans.
3. Lav benchmarks af latenstid og gennemløb. Mål, hvor lang tid hver model er om at generere en embedding af en forespørgsel, og rapportér helst medianlatenstiden (p50) og latenstiden ved 95. percentil (p95) under realistisk belastning.
4. Beregn lager- og driftsomkostninger. Vektorlagring afhænger af antallet af embeddings, deres dimensioner og den numeriske præcision. For eksempel kræver én million 768-dimensionelle FP32-embeddings ca. 3,1 GB rå vektorlagerplads, eksklusive overhead til indeksering. For at reducere lagerbehovet kan du kvantisere vektorerne til en lavere numerisk præcision. Et skift fra FP32 til INT8 reducerer for eksempel den rå vektorlagring til omkring en fjerdedel. Komprimering kan dog påvirke genfindingskvaliteten, så kør dine evalueringer igen for at vurdere afvejningen.

Til sidst skal du sammenligne resultaterne side om side: genfindingsmetrikker, p95-latenstid, gennemløb, lagerplads og omkostninger. Vælg den model, der opfylder dine kvalitetskrav inden for de rammer, dit produktionsmiljø sætter.

Hvornår bør du bruge embeddings i stedet for en LLM?

Når LLM’er kan klare alt fra dokumentanalyse til kompleks ræsonnering, er det ret fristende at smide al din tekst ind i en model og lade den finde ud af resten. Men regningen bliver du nok ikke glad for.

Derudover er LLM’er bedre til at vurdere og formulere, men de er begrænset af, hvor meget information der kan rummes i en enkelt prompt. Embeddings er derimod billige, hurtige og konsistente og fungerer på tværs af millioner af elementer.

»Embeddings er bedst til søgning, anbefalinger (›mere som dette‹), til at finde dubletter som gentagne supporthenvendelser og til at gruppere store mængder indhold efter emne. De er også stærke på tværs af sprog. En LLM er bedst, når opgaven kræver ræsonnering: at opsummere, sammenligne muligheder eller skrive et svar. De fleste systemer i praksis har brug for begge dele, hvor hver især klarer den del, den er god til,« konkluderer Kumar.

Det tager udviklere fejl af, når det gælder tekst-embeddings

For at finde ud af, hvad udviklere ofte overser, talte jeg med Rahul Kumar og Xibeijia Guan, data scientist hos Ahrefs. De fremhævede seks fejl, som det er værd at være opmærksom på:

• At springe forbehandlingen af tekst over. Hvis inputdataene indeholder HTML, navigationsmenuer, annoncer eller andet irrelevant indhold, kan forbehandlingstrin som fjernelse af standardtekst (boilerplate) forbedre kvaliteten af dine embeddings ved at fjerne unødvendig information.
• At ignorere modellens maksimale inputlængde. Forskellige modeller har forskellige tokengrænser og håndterer trunkering forskelligt. Tekst, der overskrider grænsen, kan blive afkortet, så vigtig information går tabt.
• At se bort fra modelspecifikke krav. Nogle embedding-modeller kræver bestemte præfikser, såsom query: og passage:, eller forskellige instruktioner til forskellige opgaver. Hvis du ikke følger disse krav, kan det forringe genfindingsydelsen.
• At bruge et inkompatibelt similaritetsmål. Cosinussimilaritet og skalarprodukt (dot product) kan ikke altid bruges i flæng. Tjek, om dine embeddings er normaliserede, og brug den scoringsmetode, der anbefales til modellen og vektorindekset.
• At forveksle emnemæssig lighed med relevans. I samlinger inden for et snævert domæne kan mange dokumenter ligne hinanden semantisk uden at besvare det samme spørgsmål. Undersøg mislykkede forespørgsler og rangeringsfordelinger. Test leksikalsk eller hybrid genfinding, genrangering (reranking) og metadatafiltre, når brugerne har brug for præcise oplysninger.
• At ignorere normalisering af embeddings. Forskellige embedding-modeller kan returnere normaliserede eller ikke-normaliserede vektorer. Tjek, om dine embeddings er normaliserede, og om yderligere normalisering er nødvendig, afhængigt af det similaritetsmål, du bruger.

Ofte stillede spørgsmål om tekst-embeddings

1. Hvordan genererer jeg tekst-embeddings?

Den enkleste tilgang er at bruge en forhåndstrænet embedding-model. Med Pythons Sentence Transformers-bibliotek kan du for eksempel indlæse en model som all-MiniLM-L6-v2, sende din tekst til model.encode(), og få en numerisk vektor tilbage. Alternativt kan du generere embeddings via et API.

Til semantisk søgning eller RAG opdeler du typisk dine dokumenter i mindre bidder (chunks), genererer en embedding for hver af dem og gemmer vektorerne i et søgbart indeks.

2. Hvilke embedding-modeller er bedst til tekst?

Der er flere modeller, der er værd at overveje, afhængigt af hvad du bygger:

• Perplexitys pplx-embed-v1: Bygget til tæt genfinding (dense retrieval) i stor skala med INT8- og binære embeddings, der reducerer kravene til vektorlagring.
• Perplexitys pplx-embed-context-v1: Nyttig til at hente passager fra lange dokumenter, hvor de enkelte bidder mister deres betydning uden den omgivende kontekst.
• all-MiniLM-L6-v2: God til lokal semantisk søgning med lavt ressourceforbrug, clustering og opgaver med sætningssimilaritet. Producerer kompakte 384-dimensionelle vektorer, men afkorter input, der er længere end 256 WordPiece-tokens.
• BGE-M3: Nyttig til flersproget RAG og hybrid genfinding. Understøtter over 100 sprog og kombinerer tætte (dense), tynde (sparse) og multivektorrepræsentationer.
• Qwen3-Embedding: En stærk kandidat til flersproget søgning, kodegenfinding og opgavespecifikke embeddings. Fås som open-weight-modeller på 0,6B, 4B og 8B med understøttelse af instruktioner.
• OpenAIs text-embedding-3-large: En API-baseret løsning til semantisk søgning og dokumentgenfinding, når du ikke selv vil hoste en model. Understøtter op til 3.072 dimensioner, som du kan reducere for at spare lagerplads.
• Googles Gemini Embedding-modeller: Nyttige til administrerede genfindingsapplikationer. Gemini Embedding 2 understøtter desuden søgning på tværs af tekst, billeder, lyd, video og PDF’er i et fælles embedding-rum.

3. Kan jeg bruge en LLM som embedding-model?

Ja, men der er forskel på en generel LLM og en, der er optimeret til embeddings. LLM’er danner interne vektorrepræsentationer af tekst, som du kan udtrække og samle (poole) til en enkelt embedding. Disse vektorer er dog ikke nødvendigvis brugbare til semantisk søgning uden yderligere træning.

Qwen3-Embedding bygger for eksempel på en LLM som rygrad, der er videretrænet til embedding- og genfindingsopgaver. Så selvom du godt kan tilpasse en LLM til at generere embeddings, er en dedikeret embedding-model som regel det mest praktiske udgangspunkt.