Legora elevó del 70% al 99% la tasa de citas correctas de su agente jurídico

La IA jurídica se enfrenta a una contradicción incómoda. Para mejorar un agente, a los desarrolladores les resulta útil consultar sus trazas: qué documentos abrió, qué encontró, dónde se equivocó y por qué eligió una respuesta incorrecta. Sin embargo, en la práctica jurídica, esos datos a menudo no pertenecen al propio bufete, sino a sus clientes. El equipo de producto no puede limitarse a abrir otro contrato y analizar manualmente el fallo.

Legora resuelve este problema mediante simulaciones reproducibles. Tres ingenieros y tres abogados crean entornos de trabajo sintéticos similares a casos reales de clientes. Un ejemplo es un repositorio de 10.000 archivos en el que el agente debe realizar una diligencia debida, preparar un informe y no pasar por alto riesgos materiales. Es un patrón útil mucho más allá del legal tech: si los datos de producción están restringidos, hay que reproducir no los documentos en sí, sino la estructura del trabajo, los criterios de éxito y los errores característicos.

Evaluación sin acceso a los documentos

Imaginemos un servicio que analiza miles de contratos laborales. Cada fila corresponde a un documento y las columnas contienen preguntas: plazo de rescisión, cesión de derechos de propiedad intelectual e importe de la indemnización. Ejecutar el procesamiento de inmediato sobre todo el conjunto es caro y peligroso: una consulta mal formulada multiplicará un mismo error en miles de celdas.

Por eso, Tabular Review procesa primero solo 10 filas. Un abogado comprueba el resultado, ajusta la consulta y únicamente entonces ejecuta el resto de los documentos. Parece casi demasiado sencillo, pero una interfaz así es precisamente lo que convierte un experimento con un modelo en un proceso de producción controlado. El usuario ve una pequeña muestra antes de gastar el presupuesto y recibir un millón de respuestas potencialmente incorrectas.

Legora evalúa la calidad por separado según el área jurídica y el tipo de tarea. Los resultados se muestran como un mapa de calor: un modelo nuevo puede encontrar mejor las resoluciones judiciales, pero editar peor los contratos. Una única puntuación no basta. Para cualquier equipo que desarrolle un agente especializado, la conclusión es directa: compare los modelos en flujos de trabajo concretos, no por su reputación general ni por una sola prueba promediada.

Los errores deben convertirse en un catálogo

En producción, Legora agrupa los fallos en entre 10 y 20 tipos conocidos y ejecuta comprobaciones económicas con LLM detrás de indicadores de funcionalidad. Esto no garantiza una precisión perfecta, pero hace observable la calidad. En lugar del mensaje impreciso de que «el agente se equivoca a veces», el equipo recibe una categoría concreta: se ha omitido una salvedad, la conclusión no está respaldada por una fuente, la cita apunta al pasaje equivocado o la respuesta no se ajusta al formato requerido.

El mecanismo de citas resulta especialmente revelador. Cada conclusión del agente está vinculada a una zona concreta del PDF original para que el abogado pueda abrir el fragmento que la respalda. Según el director de tecnología de Legora, después de una actualización del modelo, la proporción de citas correctas aumentó aproximadamente del 70% al 99%. Sin embargo, este episodio también muestra una limitación: parte de la calidad depende del proveedor externo del modelo y puede cambiar en la siguiente versión. Por eso hay que evaluar cada versión nueva, aunque se considere más potente.

Qué incorporar a su propio producto

No empiece eligiendo el modelo «más inteligente». Primero, prepare una lista de tareas reales, cree para ellas un conjunto privado de pruebas y defina los errores admisibles. Si no se pueden utilizar los documentos, construya equivalentes sintéticos junto con especialistas del sector. Compruebe no solo la respuesta final, sino también las referencias a las fuentes, la exhaustividad del procesamiento y la estabilidad con grandes conjuntos de datos.

Para operaciones masivas, añada una ejecución preliminar sobre una muestra pequeña. Para cada actualización, desglose los resultados por tarea: dónde aumentó la calidad, dónde disminuyó, cuánto cuestan los puntos porcentuales adicionales de precisión y cómo cambió la latencia. Convierta los fallos conocidos en comprobaciones automáticas independientes.

La idea principal de Legora no reside en su especialización jurídica, sino en que la confidencialidad no elimina la capacidad de medir. Si no se pueden consultar las trazas de los usuarios, el equipo tendrá que modelar con mayor precisión el trabajo del cliente. Es más caro que limitarse a revisar los registros, pero crea un activo que permanece dentro de la empresa: un sistema propio de evaluación, un catálogo de errores y un umbral de calidad claro antes de lanzar el agente a producción.