Fonaments de LLMs

Tokenització

La tokenització és el procés de trossejar el text en tokens, les unitats amb què treballa el model: fragments de paraula, paraules senceres o signes de puntuació. En anglès, un token equival de mitjana a uns tres quarts de paraula; en català o en castellà, cada paraula acostuma a ocupar més tokens.

Importa per tres motius: els proveïdors cobren per token (d'entrada i de sortida, sovint a preus diferents), els límits del model es mesuren en tokens i el model «veu» tokens, no lletres. Per això li costa comptar caràcters o tractar paraules rares lletra a lletra.

Embeddings

Un embedding és un vector de números (sovint de centenars o milers de dimensions) que representa el significat d'un text. Textos amb un significat semblant tenen vectors propers, encara que no comparteixin cap paraula: «vull tornar el producte» i «com faig una devolució?» queden a prop.

Són la base de la cerca semàntica, de la classificació i del RAG (Mòdul 3). Es generen amb models específics d'embeddings, més petits i barats que els de xat. Una regla important: per comparar vectors, tots s'han d'haver generat amb el mateix model i les mateixes dimensions.

Finestra de context

La finestra de context és la quantitat màxima de tokens que el model pot tenir en compte en una sola crida, sumant-hi les instruccions, l'historial de la conversa, els documents que li passes i la resposta que genera.

Una finestra gran no vol dir que s'hagi d'omplir. Com més context, més cost i més latència, i els models tendeixen a parar menys atenció a la informació enterrada al mig d'un context llarg. Decidir què hi entra i què no és justament el context engineering (Mòdul 2).

Temperature, top-p i top-k

Són paràmetres que controlen com tria el model el token següent entre els candidats possibles. La temperature ajusta l'aleatorietat: baixa (a prop de 0) fa les respostes més previsibles i repetibles; alta, més variades i creatives. Top-k limita els candidats als k més probables, i top-p als que sumen una probabilitat acumulada p.

A la pràctica, n'hi ha prou de tocar la temperature: baixa per extreure dades, classificar o seguir un format, i més alta per redactar o generar idees. Alguns models, sobretot els de raonament, ignoren o restringeixen aquests paràmetres.

System prompt i user prompt

El system prompt defineix el paper i les regles del model per a tota la conversa («ets l'assistent de suport d'una botiga; respon sempre amb un to amable i no prometis mai cap reemborsament»). El user prompt és la petició concreta de cada torn: el tiquet que cal resumir o la pregunta del client.

Separar-los té conseqüències pràctiques: el system prompt és estable i es pot versionar i provar, mentre que el user prompt porta dades variables, sovint escrites per tercers. Aquesta separació és també la primera línia de defensa contra el prompt injection (Mòdul 5).

Zero-shot, few-shot i chain-of-thought

Són tres maneres de demanar una tasca. Zero-shot: només les instruccions, sense exemples. Few-shot: les instruccions i uns quants exemples d'entrada i de sortida esperada, perquè el model imiti el patró. Chain-of-thought: demanar al model que raoni pas a pas abans de donar la resposta final.

El few-shot funciona molt bé per fixar un format o un to, però els exemples també «contaminen»: el model tendeix a copiar-ne detalls que no volies. El chain-of-thought millora els problemes de diversos passos a canvi de més tokens i més temps; els models de raonament actuals ja ho fan internament (Mòdul 11).

Grounding

El grounding és ancorar la resposta del model en informació concreta que li proporciones (documents, dades de la base de dades, el text d'un tiquet) en lloc de deixar que respongui només amb el que va aprendre durant l'entrenament.

És la manera principal d'aconseguir respostes correctes i actualitzades sobre el teu domini: el model no sap quina és la teva política de devolucions fins que no l'hi dones. El RAG (Mòdul 3) és, de fet, una tècnica per fer grounding de manera automàtica.

Al·lucinacions

Una al·lucinació és una resposta que sona convincent però que és falsa: una dada inventada, una referència que no existeix o una política de l'empresa que ningú no ha escrit mai. No és un error puntual, sinó una conseqüència de com funcionen els models: generen el text més plausible, que no sempre és el cert.

No es poden eliminar del tot, però es poden reduir i contenir: grounding amb fonts fiables, instruccions explícites perquè digui «no ho sé», sortida estructurada que es pot validar amb codi i revisió humana abans que la resposta tingui efectes. El disseny ha de donar per fet que el model s'equivocarà alguna vegada.