LLM open-source pour les juristes: l'expérience de Reg.cloud et Raft

L'automatisation du travail avec les documents juridiques a parcouru un long chemin, commençant par des expressions régulières et se terminant par des réseaux de neurones modernes. Cependant, comme le montre la pratique, soit la qualité du traitement s'avérait insuffisante pour les tâches commerciales réelles, soit le coût de mise en œuvre et de maintenance de la solution était prohibitif. À la recherche d'une solution optimale, l'équipe de Reg.

cloud a accordé une subvention à l'équipe de Raft pour mener une expérience utilisant des LLMs open-source modernes sur des serveurs cloud avec des GPUs A100. L'objectif de l'expérience était de déterminer dans quelle mesure les LLMs peuvent gérer les longs documents juridiques et s'il est possible de les appliquer à l'extraction industrielle de données critiques pour l'entreprise.

Au cours de l'expérience, l'équipe de Raft a rencontré un certain nombre de limitations. D'abord, les LLMs, même les plus modernes, ont des contraintes sur la longueur du contexte. Les documents juridiques sont souvent très volumineux et, pour les traiter efficacement, il est nécessaire de les diviser en fragments ou d'utiliser des techniques d'expansion de contexte. Deuxièmement, la précision de l'extraction de données dépend directement de la qualité de l'entraînement du modèle et de sa capacité à comprendre la terminologie juridique. Les modèles entraînés sur des données générales peuvent avoir du mal à travailler avec des textes juridiques spécifiques.

Pour résoudre ces problèmes, l'équipe de Raft a appliqué une série de solutions d'ingénierie. Des techniques de chunking (division du texte en fragments) et de summarization (compression de l'information) ont été utilisées pour traiter les longs documents. L'équipe a également effectué un ajustement fin des modèles sur des ensembles de données juridiques spécialisés. Une attention particulière a été accordée à la sélection des paramètres optimaux du modèle et à la configuration du processus d'extraction des données.

Les résultats de l'expérience se sont avérés prometteurs, mais non sans inconvénients. Les LLMs ont démontré une bonne capacité à extraire les informations clés des documents juridiques, mais la précision et l'exhaustivité de l'extraction variaient selon le type de document et la complexité de la tâche. Les meilleurs résultats ont été obtenus en utilisant des modèles ajustés sur des données spécialisées. Cependant, même dans ce cas, une vérification manuelle des résultats était nécessaire pour assurer une haute précision.

Cette expérience a des implications importantes pour l'industrie juridique. Elle démontre que les LLMs open-source peuvent être un outil utile pour automatiser le traitement des documents juridiques, mais ils nécessitent un ajustement soigneux et une adaptation à des tâches spécifiques. À l'avenir, avec les progrès technologiques et l'émergence de modèles plus puissants, nous pouvons nous attendre à des améliorations significatives des résultats et à une application plus large des LLMs dans la pratique juridique.

En conclusion, l'expérience de Reg.cloud et Raft a démontré le potentiel des LLMs open-source pour automatiser le travail avec les documents juridiques. Bien qu'il existe certaines limitations et complexités, les solutions d'ingénierie et l'ajustement fin des modèles permettent d'atteindre des résultats acceptables. La recherche et le développement futurs dans ce domaine ouvriront de nouvelles possibilités pour améliorer l'efficacité et réduire les coûts dans le secteur juridique.