Conceptes de model avançats
No és un requisit per a cap altre mòdul: és coneixement de fons per entendre com funcionen per sota els models que ja fas servir. Es pot llegir en qualsevol moment.
Temps de lectura: 3 min
Mixture of Experts (MoE)
Mixture of Experts és una arquitectura de model en què la xarxa té molts «experts» (subxarxes) i, per a cada token, un mecanisme d'encaminament n'activa només uns quants. El model té molts paràmetres en total, però a cada pas només en fa servir una fracció.
El resultat és un model amb la capacitat d'un de molt gran i un cost d'inferència més proper al d'un de mitjà. Molts models actuals, tant comercials com oberts, fan servir aquesta arquitectura. Per a qui construeix aplicacions no canvia la manera de fer-los servir, però ajuda a entendre per què alguns models grans són sorprenentment ràpids i barats.
Context distillation
La context distillation és una tècnica d'entrenament que fa que un model interioritzi el comportament que tindria amb un prompt llarg (instruccions detallades, exemples) perquè el reprodueixi sense necessitat de rebre aquest prompt. Es generen respostes amb el context complet i s'entrena el model perquè les doni sense.
És una forma de fine-tuning orientada a estalviar context: menys tokens per crida i, per tant, menys cost i menys latència. Té sentit quan un mateix prompt llarg es repeteix en un volum molt alt. En la majoria d'aplicacions, el prompt caching aconsegueix un estalvi semblant sense entrenar res.
Multimodalitat
Un model multimodal pot processar (i, en alguns casos, generar) més d'un tipus de dada: text, imatges, àudio, vídeo o documents PDF. Li pots enviar la foto d'un producte trencat, una captura de pantalla d'un error o una factura escanejada i preguntar-li directament pel contingut.
Obre casos que abans necessitaven sistemes específics, com extreure dades de documents, entendre captures de pantalla o transcriure i resumir trucades. Les imatges i l'àudio consumeixen molts tokens, i la precisió en els detalls petits (les xifres d'un document borrós, per exemple) no és perfecta: el que se n'extregui s'ha de validar com qualsevol altra sortida del model.
Reasoning models
Els reasoning models són models entrenats per raonar abans de respondre: generen una cadena de pensament interna (de vegades visible, de vegades no) i dediquen més temps de càlcul als problemes difícils. Molts permeten ajustar quant han de pensar amb un pressupost de tokens de raonament o un nivell d'esforç.
Són clarament millors en tasques de diversos passos (planificació, matemàtiques, codi, anàlisi complexa), però són més lents i més cars, perquè els tokens de raonament també es paguen. En tasques senzilles, com classificar, extreure o reformular, no aporten gaire. Són un bon candidat per al model routing (Mòdul 7): raonament només on es nota.
Examina't d'aquest mòdul
Copia aquest prompt i enganxa'l a la teva IA (ChatGPT, Claude, Gemini…). Et farà un test de 20 preguntes sobre els conceptes del mòdul i després et proposarà un exercici pràctic.
Actua com a examinador de la «Guia d'Enginyeria IA» de Dani Pérez. Examina'm del mòdul «Conceptes de model avançats» (https://daniperez.cat/resources/ai-engineering-guide/advanced-model-concepts). Conceptes que entren a l'examen: - Mixture of Experts (MoE) - Context distillation - Multimodalitat - Reasoning models Examen: 1. 20 preguntes tipus test, cadascuna amb 4 opcions (a, b, c, d) i una sola resposta correcta. 2. Pregunta sobre comprensió i criteri (per a què serveix cada cosa i quan NO fer-la servir), no sobre memoritzar definicions. 3. Reparteix la posició de la resposta correcta de manera equilibrada entre a, b, c i d. 4. Fes-me les preguntes en 4 tandes de 5. No posis cap exemple de resposta (com "1a 2b 3c 4d 5a"): jo ja sé que he de respondre amb les lletres. No em diguis si he encertat fins que hagi respost les 20. 5. Al final, corregeix-les totes: per a cada pregunta, la meva resposta, la correcta i una explicació breu. Dona'm la nota sobre 20 i digues quins conceptes he de repassar. Exercici pràctic (després de la correcció): 6. Pregunta'm quina aplicació tinc o vull construir, i amb quin llenguatge i framework treballo. Si no en tinc cap, fes servir aquesta: l'aplicació d'atenció al client d'una botiga en línia, amb tiquets, clients, comandes i una base de coneixement (FAQ i polítiques de devolució). En aquest cas, centra l'exercici en: tiquets que arriben amb una captura de pantalla de l'error, per aplicar la multimodalitat; si ho prefereixo, planteja'm un exercici de reflexió sobre quan compensa un reasoning model. 7. Proposa'm un exercici que apliqui els conceptes d'aquest mòdul a aquella aplicació: objectiu, requisits, criteris per donar-lo per bo i errors habituals a evitar. 8. No me'l resolguis. Quan et porti la meva solució, revisa-la amb aquests criteris.