Com Perplexity integra la precisió en la IA de frontera

La nostra missió és potenciar la curiositat de les persones que volen saber més i fer més amb el coneixement del món. Per aconseguir-ho, el nostre focus principal sempre ha estat aconseguir que els millors models d'IA de frontera siguin més precisos a Perplexity.

Per primera vegada, compartim una de les tecnologies que hi ha darrere de com ho fem. Avui el nostre equip de recerca ha publicat una exploració tècnica dels LLM augmentats per cerca.

Hi ha desenes de processos que fem servir per desenvolupar la precisió, i aquesta és una mirada interior poc habitual a un d'ells: postentrenar models d'IA de frontera perquè funcionin al màxim nivell segons els estàndards de precisió de productes de Perplexity com Search, Comet i Computer.

Entrenem el comportament abans de la cerca

Un motor de respostes exigeix que els models subjacents facin molt més que generar text fluent. Han de trobar proves, seguir la sol·licitud de l'usuari, utilitzar eines correctament i transformar tota aquesta feina en una resposta centrada.

Fem un postentrenament per a això en dues etapes. Primer, ensenyem al model a comportar-se dins del producte, incloent-hi com seguir les instruccions, mantenir-se coherent i utilitzar les eines de la manera correcta. Després l'entrenem en tasques de cerca més difícils perquè millori a l'hora de trobar proves, utilitzar-les bé i respondre amb més eficàcia.

L'enfocament per etapes és una de les diferències simples entre Perplexity i una configuració tradicional de 'wrapper' amb accés a models i a la web. És per això que el mateix model pot produir resultats diferents en productes diferents, i per què pot funcionar millor a Perplexity que en un desplegament més senzill.

Preguntes que requereixen síntesi

Algunes preguntes són cerques fàcils. Altres requereixen que el model connecti proves de diverses fonts.

Entrenem amb preguntes que exigeixen que el model connecti proves de diverses fonts. Pel que fa a les preguntes basades en fets, fem servir tasques que obliguen el model a cercar, raonar i verificar en lloc de precipitar-se cap a una resposta a partir d'una sola pista òbvia. Moltes preguntes requereixen connectar informació de múltiples fonts. Exigeixen que el model es mogui d'una prova a una altra i construeixi la resposta a partir d'aquesta cadena.

També entrenem amb diferents formats de resposta, de manera que el model mantingui la precisió tant si l'usuari vol un paràgraf, una llista, una taula o una altra estructura. El resultat és una millor síntesi, formada per respostes que connecten proves de diverses fonts en lloc de recuperar només fets aïllats.

Les tasques obertes necessiten estàndards

Perplexity s'utilitza per a molt més que per a cerques de fets. Bona part de la feina és oberta, incloent-hi la reescriptura, l'edició, el resum, l'explicació i la planificació.

Aquestes tasques no tenen una sola resposta exacta i correcta, però continuen necessitant estàndards. Per al treball obert, fem servir rúbriques, que són comprovacions estructurades per determinar si una resposta realment ha complert la tasca. Ha seguit les instruccions? Ha preservat el significat? Ha resolt el problema de l'usuari?

Això ens permet entrenar tasques obertes amb estàndards clars en lloc de tractar-les com a escriptura de forma lliure.

La precisió va abans que la preferència

Pel que fa a les tasques basades en fets, una resposta ha de ser correcta abans de rebre crèdit per ser més útil o estar més ben escrita. En el cas de les tasques obertes, la resposta ha de satisfer la rúbrica abans que entrin en joc altres qualitats.

Això manté el sistema centrat en la substància per damunt de l'estil. Ajuda a prevenir un mode de fallada comú de les respostes que sonen millor sense ser realment millors. El benefici és obtenir menys respostes polides que s'enfonsen sota una inspecció detallada.

L'eficiència contribueix a la qualitat de la resposta

També entrenem el model perquè utilitzi la cerca amb disciplina.

Qualsevol pas de cerca addicional ha de millorar la resposta, i una resposta més llarga s'ha de guanyar la seva longitud. Quan les cerques extres o les paraules addicionals no ajuden, el sistema s'ha d'aturar.

Això produeix respostes que són més fàcils d'utilitzar i preserva el focus del model quan treballa amb cadenes d'accions més llargues, on els petits errors s'acumulen.

Les millors respostes requereixen una feina constant

La qualitat de la cerca prové de com el producte entrena el model per recollir proves, respondre amb disciplina, gestionar el treball obert i aturar-se quan té prou suport.

A mesura que els sistemes d'IA assumeixen tasques més llargues i autònomes, aquest entrenament modela la qualitat de les respostes individuals i de tot allò que es construeix damunt d'elles. Mai no hem afirmat que Perplexity sigui 100% precís, però sí que ens presentem com l'empresa d'IA que més s'hi preocupa i que hi treballa de manera incansable. Animem a tots els usuaris a proporcionar comentaris sobre les seves respostes a Perplexity, perquè iterem i millorem constantment.