Comment Perplexity intègre la précision dans l'IA de pointe

Notre mission est d'alimenter la curiosité des personnes qui veulent en savoir plus et en faire plus avec les connaissances mondiales. Pour ce faire, notre objectif principal a toujours été d'améliorer la précision des meilleurs modèles d'IA de pointe sur Perplexity.

Pour la première fois, nous partageons l'une des technologies qui sous-tendent notre démarche. Aujourd'hui, notre équipe de recherche a publié une exploration technique des LLM augmentés par la recherche.

Nous utilisons des dizaines de processus pour développer la précision, et voici un aperçu rare de l'un d'entre eux : le post-entraînement des modèles d'IA de pointe pour qu'ils obtiennent les meilleurs résultats par rapport aux normes de précision des produits Perplexity tels que Search, Comet et Computer.

Nous formons le comportement avant la recherche

Un moteur de réponse exige que les modèles sous-jacents fassent plus que générer du texte fluide. Ils doivent trouver des preuves, suivre la demande de l'utilisateur, utiliser les outils correctement et transformer ce travail en une réponse ciblée.

Nous procédons à un post-entraînement en deux étapes. Tout d'abord, nous apprenons au modèle à se comporter au sein du produit, notamment à suivre les consignes, à rester cohérent et à utiliser les outils de manière appropriée. Ensuite, nous l'entraînons sur des tâches de recherche plus complexes afin qu'il s'améliore dans la recherche de preuves, leur utilisation judicieuse et la formulation de réponses plus efficaces.

Cette approche par étapes est l'une des différences simples entre Perplexity et une configuration traditionnelle d'enveloppe (wrapper) avec accès aux modèles et au Web. C'est pourquoi un même modèle peut produire des résultats différents selon les produits, et pourquoi il peut fonctionner mieux dans Perplexity que dans un déploiement plus simple.

Questions nécessitant une synthèse

Certaines questions sont de simples recherches. D'autres exigent que le modèle relie des preuves provenant de différentes sources.

Nous nous entrainons sur des questions qui exigent du modèle qu'il relie des preuves provenant de plusieurs sources. Pour les questions factuelles, nous utilisons des tâches qui forcent le modèle à effectuer des recherches, à raisonner et à vérifier plutôt que de se précipiter vers une réponse à partir d'un seul indice évident. De nombreuses questions nécessitent de relier des informations provenant de sources multiples. Elles exigent que le modèle passe d'un élément de preuve à un autre et élabore la réponse à partir de cette chaîne.

Nous nous entrainons également sur différents formats de réponse, afin que le modèle reste précis, que l'utilisateur souhaite un paragraphe, une liste, un tableau ou une autre structure. Il en résulte une meilleure synthèse, composée de réponses qui relient les preuves entre les sources plutôt que de se limiter à récupérer des faits isolés.

Les tâches ouvertes ont besoin de normes

Perplexity est utilisé pour bien plus que de simples recherches de faits. Une grande partie du travail est ouverte, notamment la réécriture, l'édition, la synthèse, l'explication et la planification.

Ces tâches n'ont pas une seule bonne réponse exacte, mais elles ont tout de même besoin de normes. Pour le travail ouvert, nous utilisons des grilles d'évaluation qui sont des vérifications structurées permettant de savoir si une réponse a réellement fait le travail. A-t-elle suivi les consignes ? A-t-elle préservé le sens ? A-t-elle résolu le problème de l'utilisateur ?

Cela nous permet d'entraîner des tâches ouvertes avec des normes claires au lieu de les traiter comme de l'écriture libre.

La précision passe avant la préférence

Pour les tâches factuelles, une réponse doit être exacte avant d'être jugée plus utile ou mieux rédigée. Pour les tâches ouvertes, la réponse doit satisfaire à la grille d'évaluation avant que d'autres qualités n'entrent en jeu.

Cela permet de maintenir l'attention du système sur le fond plutôt que sur la forme. Cela aide à prévenir un mode de défaillance courant des réponses qui semblent meilleures sans pour autant l'être. Le résultat est un plus petit nombre de réponses léchées qui s'effondrent à l'examen.

L'efficacité contribue à la qualité des réponses

Nous entraînons également le modèle à utiliser la recherche avec discipline.

Chaque étape de recherche supplémentaire doit améliorer la réponse, et une réponse plus longue doit justifier sa longueur. Lorsque des recherches ou des mots superflus n'apportent rien, le système doit s'arrêter.

Cela produit des réponses plus faciles à utiliser et préserve la concentration du modèle lorsqu'il traite de plus longues chaînes d'actions, où les petites erreurs s'accumulent.

De meilleures réponses exigent un travail constant

La qualité de la recherche dépend de la manière dont le produit forme le modèle à rassembler des preuves, à répondre avec discipline, à gérer le travail ouvert et à s'arrêter lorsqu'il dispose d'un soutien suffisant.

À mesure que les systèmes d'IA assument des tâches plus longues et plus autonomes, cet entraînement façonne la qualité des réponses individuelles et de tout ce qui est construit sur celles-ci. Nous n'avons jamais prétendu que Perplexity était exact à 100 %, mais nous prétendons être l'entreprise d'IA qui s'en soucie le plus et qui y travaille sans relâche. Nous encourageons tous les utilisateurs à fournir des commentaires sur leurs réponses Perplexity, car nous itérons et nous améliorons constamment.