Cómo Perplexity integra precisión en la IA de vanguardia

Nuestra misión es impulsar la curiosidad de las personas que quieren saber más y hacer más con el conocimiento del mundo. Para lograrlo, nuestro enfoque central siempre ha sido hacer que los mejores modelos de IA de vanguardia sean más precisos en Perplexity.

Por primera vez, compartimos una de las tecnologías detrás de cómo lo hacemos. Hoy nuestro equipo de investigación publicó una exploración técnica de los LLM aumentados por búsqueda.

Existen decenas de procesos que utilizamos para desarrollar la precisión, y este es un vistazo exclusivo y poco común a uno de ellos: el entrenamiento posterior de modelos de IA de vanguardia para que funcionen de la mejor manera frente a los estándares de precisión de los productos de Perplexity como Search, Comet y Computer.

Entrenamos el comportamiento antes de la búsqueda

Un motor de respuestas requiere que los modelos subyacentes hagan algo más que generar texto fluido. Tienen que encontrar evidencia, seguir la solicitud del usuario, utilizar herramientas correctamente y convertir ese trabajo en una respuesta enfocada.

Realizamos un entrenamiento posterior para eso en dos etapas. Primero, le enseñamos al modelo cómo comportarse dentro del producto, incluido cómo seguir instrucciones, mantenerse constante y usar las herramientas de la manera correcta. Luego, lo entrenamos en tareas de búsqueda más difíciles para que mejore en la búsqueda de evidencia, su uso adecuado y la respuesta de manera más eficiente.

El enfoque por etapas es una de las diferencias simples entre Perplexity y una configuración tradicional de contenedor (wrapper) con acceso a modelos y a la web. Es por eso que el mismo modelo puede producir resultados diferentes en distintos productos, y por qué puede funcionar mejor en Perplexity que en una implementación más simple.

Preguntas que requieren síntesis

Algunas preguntas son búsquedas sencillas. Otras requieren que el modelo conecte evidencia entre fuentes.

Entrenamos con preguntas que requieren que el modelo conecte evidencia entre fuentes. Para preguntas objetivas, utilizamos tareas que obligan al modelo a buscar, razonar y verificar en lugar de saltar a una respuesta a partir de una pista obvia. Muchas preguntas requieren conectar información en múltiples fuentes. Exigen que el modelo se mueva de una pieza de evidencia a otra y construya la respuesta a partir de esa cadena.

También entrenamos en diferentes formatos de respuesta, para que el modelo se mantenga preciso ya sea que el usuario quiera un párrafo, una lista, una tabla u otra estructura. El resultado es una mejor síntesis, que consiste en respuestas que conectan evidencia entre fuentes en lugar de recuperar únicamente datos aislados.

Las tareas abiertas necesitan estándares

Perplexity se utiliza para algo más que la búsqueda de datos fácticos. Gran parte del trabajo es de tipo abierto, incluyendo la reescritura, edición, resumen, explicación y planificación.

Esas tareas no tienen una sola respuesta correcta y exacta, pero aun así necesitan estándares. Para el trabajo abierto, utilizamos rúbricas que son verificaciones estructuradas para comprobar si una respuesta realmente cumplió con el objetivo. ¿Siguió las instrucciones? ¿Conservó el significado? ¿Resolvió el problema del usuario?

Eso nos permite entrenar tareas de formato abierto con estándares claros en lugar de tratarlas como escritura libre.

La precisión está antes que la preferencia

Para las tareas objetivas, una respuesta tiene que ser correcta antes de recibir crédito por ser más útil o estar mejor escrita. Para las tareas abiertas, la respuesta tiene que satisfacer la rúbrica antes de que entren en juego otras cualidades.

Eso mantiene al sistema enfocado en el contenido por encima del estilo. Ayuda a prevenir un modo de fallo común en las respuestas que suenan mejor sin ser realmente mejores. El beneficio son menos respuestas pulidas que se desmoronan bajo inspección.

La eficiencia contribuye a la calidad de la respuesta

También entrenamos al modelo para que utilice la búsqueda con disciplina.

Cualquier paso de búsqueda adicional debería mejorar la respuesta, y una respuesta más larga debe justificar su longitud. Cuando la búsqueda adicional o las palabras adicionales no ayudan, el sistema debe detenerse.

Eso produce respuestas que son más fáciles de usar y preserva el enfoque del modelo cuando procesa cadenas de acciones más largas, donde los pequeños errores se acumulan.

Las mejores respuestas requieren un trabajo constante

La calidad de la búsqueda proviene de cómo el producto entrena al modelo para recopilar evidencia, responder con disciplina, manejar el trabajo abierto y detenerse cuando tiene suficiente respaldo.

A medida que los sistemas de IA asumen trabajos más largos y autónomos, ese entrenamiento da forma a la calidad de las respuestas individuales y de todo lo que se construye sobre ellas. Nunca hemos afirmado que Perplexity tenga una precisión del 100%, pero sí afirmamos ser la empresa de IA que más se preocupa por ello y que trabaja en ello incansablemente. Alentamos a todos los usuarios a proporcionar comentarios sobre sus respuestas de Perplexity, porque iteramos y mejoramos constantemente.