L'équipe de l'Université de Fudan a publié DISC-LawLLM, un système juridique intelligent chinois, pour créer une référence d'évaluation judiciaire et ouvrir la source de 300 000 données affinées.

Avec l’essor de la justice intelligente, les systèmes juridiques intelligents, pilotés par des méthodes intelligentes, devraient profiter à différents groupes. Par exemple, faciliter les formalités administratives pour les professionnels du droit, fournir des services de conseil juridique au grand public et fournir un encadrement aux étudiants en droit lors des études et des examens.

En raison du caractère unique des connaissances juridiques et de la diversité des tâches judiciaires, les précédentes recherches judiciaires intelligentes se sont principalement concentrées sur la conception d'algorithmes automatisés pour des tâches spécifiques, ce qui était difficile à répondre à la demande de services de soutien dans le domaine judiciaire et était encore loin de la mise en œuvre des applications. Les grands modèles linguistiques (LLM) ont démontré de puissantes capacités dans différentes tâches traditionnelles, laissant espérer le développement ultérieur de systèmes juridiques intelligents.

Récemment, le laboratoire d'intelligence des données et d'informatique sociale de l'université de Fudan (FudanDISC) a publié un système juridique chinois intelligent piloté par un grand modèle linguistique - DISC-LawLLM. Le système peut fournir une variété de services juridiques à différents groupes d'utilisateurs. En outre, le laboratoire a également construit un référentiel d'évaluation DISC-Law-Eval pour évaluer le modèle de langage juridique sous des aspects objectifs et subjectifs. Les performances du modèle dans l'évaluation présentent des avantages évidents par rapport aux grands modèles juridiques existants.

L'équipe de recherche a également publié un ensemble de données de réglage fin supervisé (SFT) de haute qualité contenant 300 000 - DISC-Law-SFT. Les paramètres du modèle et les rapports techniques sont également open source.

• Adresse de la page d'accueil : https://law.fudan-disc.com
• Adresse Github : https://github.com/FudanDISC/DISC-LawLLM
• Rapport technique : https : //arxiv.org/abs/2309.11325

01 Exemple d'affichage

Lorsque les utilisateurs ont des questions juridiques, ils peuvent consulter le modèle et décrire la question, et le modèle donnera les lois pertinentes Prescriptions et explications, solutions recommandées, etc.询 Figure 1 Exemple de consultation juridique

^{Les organes professionnels et judiciaires peuvent utiliser des modèles pour compléter des résumés de textes juridiques, des tests d'incidents judiciaires, l'extraction d'entités et de relations, etc., réduire les documents, améliorer le travail, améliorer l'efficacité du travail.书 Figure 2 Analyse des documents judiciaires}

Les étudiants des filières juridiques peuvent poser des questions aux modèles en cours de préparation des examens judiciaires, aider à consolider leurs connaissances juridiques et répondre aux questions de l'examen juridique.手 Figure 3 Exemple d'assistant d'examen

Lorsque la méthode externe est requise pour la prise en charge, le modèle récupérera le contenu pertinent dans la base de connaissances en fonction du problème et donnera une réponse.场 Figure 4 Dialogue de récupération dans les scènes améliorées

02 DISC-Lawllm Introduction

Disc-Lawllm est basé sur l'ensemble de données de haute qualité que nous avons construit est un grand modèle juridique obtenu par SFT. affiner les instructions de paramètres complets sur le grand modèle chinois Baichuan-13B, destiné au domaine général. Il convient de noter que nos données et méthodes de formation peuvent être adaptées à n'importe quel grand modèle de base.

DISC-LawLLM possède trois capacités principales :

1. Capacités de base de traitement de textes juridiques. Compte tenu des différentes capacités de base de compréhension et de génération de textes juridiques, y compris l'extraction d'informations, la synthèse de textes, etc., nous avons construit des données affinées basées sur les données publiques des tâches judiciaires PNL existantes et des textes juridiques du monde réel.

2. Capacité de réflexion en raisonnement juridique. En réponse aux besoins des tâches dans le domaine judiciaire intelligent, nous avons utilisé le syllogisme juridique, le processus de raisonnement juridique de base des juges, pour reconstruire les données d'instruction, améliorant ainsi efficacement la capacité de raisonnement juridique du modèle.

3. La capacité à récupérer et suivre des connaissances dans le domaine judiciaire est très importante. Lors de la résolution de problèmes dans le domaine de la justice intelligente, il est généralement nécessaire d’effectuer une recherche sur la base des lois ou des cas pertinents du problème. Afin d'améliorer les capacités de récupération et de conformité du système de traitement juridique intelligent, nous l'avons équipé d'un module d'amélioration de la récupération. Le cadre global du modèle est présenté dans la figure 5 : Pour différents utilisateurs

03. Méthode : Construction de l'ensemble de données DISC-Law-SFT

                   Figure 6 La structure de DISC-Law-SFT

DISC- Law-SFT est divisée en deux sous- ensembles de données, à savoir DISC-Law-SFT-Pair et DISC-Law-SFT-Triplet Le premier introduit des capacités de raisonnement juridique au LLM, tandis que le second contribue à améliorer la capacité du modèle à utiliser les connaissances externes. C Tableau 1 : Contenu de l'ensemble de données DISC-LAW-SFT Introduction

Source des données

DISC-LAW-SFT Les données de l'ensemble de données sont à l'origine composées de trois parties, dont une avec une donnée publique un ensemble de tâches judiciaires NLP liées au droit chinois, y compris l'extraction d'informations juridiques, l'extraction d'entités et de relations, le résumé de textes judiciaires, les questions et réponses d'examen judiciaire, la compréhension de lectures judiciaires, la prédiction d'accusations/de peines, etc. monde réel Textes originaux, tels que lois et règlements, affaires judiciaires, documents de jugement, examens judiciaires, etc. ; le troisième est un ensemble de données open source général. Nous avons utilisé alpaca_gpt4_data_zh et Firefly, qui peuvent enrichir la diversité de l'ensemble de formation. et réduire l'occurrence du modèle pendant la phase de formation SFT. Le risque de dégradation des capacités de base.

Construction de paires d'instructions

Après avoir converti les données des première et deuxième sources ci-dessus en paires d'instructions "entrée-sortie", nous utilisons les trois méthodes suivantes pour reconstruire les données d'instruction afin d'améliorer Qualité des données.

Formation du comportement

Dans un syllogisme juridique, la prémisse majeure est les règles juridiques applicables, la prémisse mineure est les faits de l'affaire et la conclusion est le jugement juridique. Cela constitue un processus de raisonnement juridique de base pour les juges. Chaque cas peut être amené à une conclusion claire grâce à un syllogisme, comme suit :

Prémisse majeure : règles juridiques

Prémisse mineure : faits de l'affaire

Conclusion : jugement juridique

nous Utilisez GPT-3.5-turbo pour terminer la reconstruction de la mise en forme du comportement, affiner le résultat et garantir que chaque conclusion est tirée d'une clause juridique et d'un fait de cas.

Expansion des connaissances

Pour les questions à choix multiples où la formation du comportement n'est pas applicable, nous étendons le résultat directement avec des connaissances juridiques pour fournir plus de détails de raisonnement. De nombreux examens et concours de connaissances liés au droit ne proposent que des options de réponse. Nous utilisons le LLM pour élargir les connaissances juridiques impliquées, donner les réponses correctes et reconstruire les paires d'instructions. Il a été prouvé que la formation à la réflexion

La chaîne de pensée (CoT) améliore efficacement la capacité de raisonnement du modèle. Pour renforcer davantage le modèle avec des capacités de raisonnement juridique, nous avons conçu une chaîne de pensée ayant une signification juridique spécifique, appelée LCoT, qui nécessite que le modèle utilise des syllogismes juridiques pour obtenir des réponses. LCoT convertit l'entrée

• Cas : -Sous-ensemble de données Law-SFT-Triplet, les données sont un triplet sous la forme de
  Nous utilisons les trois stratégies répertoriées dans la construction de la paire d'instructions pour traiter les données d'origine, obtenir l'entrée et la sortie et concevoir. règles heuristiques à dériver de l'original Extraire les informations de référence des données. Le processus de formation de DISC-LawLLM est divisé en deux étapes : SFT et amélioration de la récupération.

Amélioration de la récupération

Bien que nous utilisions des données d'instructions de haute qualité pour affiner le LLM, cela peut produire des réponses inexactes en raison d'hallucinations ou de connaissances obsolètes. Pour résoudre ce problème, nous avons conçu un module de récupération pour améliorer DISC-LawLLM.

À partir d'une entrée utilisateur, le récupérateur renvoie les documents Top-K les plus pertinents de la base de connaissances en calculant leur similarité avec l'entrée. Ces documents candidats, ainsi que les entrées de l'utilisateur, sont construits à l'aide de modèles conçus par nos soins, puis saisis dans DISC-LawLLM. En interrogeant la base de connaissances, le modèle peut mieux comprendre les prémisses principales, ce qui entraîne des réponses plus précises et plus fiables.

                                                                                                                                                                                    ^{évaluation Benchmark DISC-Law-Eval}

Nous avons construit une foire La smart référence d'évaluation du système juridique DISC-Law-Eval évalue à la fois des perspectives objectives et subjectives, comblant le vide qu'il n'existe actuellement pas de référence pour évaluer de manière exhaustive les systèmes juridiques intelligents.

                                                                                                                                                                                                                             

Pour évaluer objectivement et quantitativement les connaissances juridiques et les capacités de raisonnement des systèmes juridiques intelligents, nous avons conçu un ensemble de données d'évaluation objective, composé d'une série de questions à élément unique et à choix multiples. à partir d'examens juridiques standardisés chinois et de concours de connaissances, et a divisé les questions en trois catégories : difficile, normale et facile en fonction de la complexité du contenu et du niveau de difficulté de déduction. Cela peut fournir un moyen plus complexe et plus fiable de mesurer si le modèle peut utiliser ses connaissances pour raisonner sur la bonne réponse. Nous démontrons la performance en calculant la précision.

Évaluation subjective

Dans la partie évaluation subjective, nous utilisons le paradigme des questions et réponses pour l'évaluation, simulant le processus des questions d'examen subjectives. Nous avons construit manuellement un ensemble de tests de haute qualité à partir de consultations juridiques, de forums en ligne, de publications liées à la justice et de documents juridiques. Nous utilisons GPT-3.5-turbo comme modèle d'arbitre pour évaluer les résultats du modèle et fournir une note de 1 à 5 en utilisant trois critères : précision, exhaustivité et clarté.

• Résultats de l'évaluation

Modèles de comparaison

Comparez notre modèle DISC-LawLLM (sans base de connaissances externe) avec 4 LLM généraux et 4 LLM juridiques chinois s effectuer une Comparaison, y compris GPT-3.5-turbo, ChatGLM-6B, Baichuan-13B-Chat, Chinese-Alpaca2-13B ;

Résultats objectifs de l'évaluation

DISC-LawLLM a surpassé tous les grands modèles comparés avec le même nombre de paramètres dans tous les tests à différents niveaux de difficulté. Même comparé au GPT-3.5-turbo avec des paramètres 175B, DISC-LawLLM affiche des performances supérieures sur certains tests. Le tableau 2 présente les résultats objectifs de l'évaluation, dans lesquels le gras indique le meilleur résultat et le souligné indique le deuxième meilleur résultat.

•                                                                 Tableau 2 : Résultats objectifs de l'évaluation

Sujet Résultats d'évaluation ive

• Dans les évaluations objectives, DISC-LawLLM a reçu la note globale la plus élevée en termes d'exactitude et de clarté. les deux critères. Le tableau 3 montre les résultats de l'évaluation subjective, où les caractères gras indiquent les meilleurs résultats.

                                                                                                                                                                         Tableau 3 : Résultats de l'évaluation subjective

0 5 Résumé

Nous avons lancé DISC-LawLLM, un système juridique intelligent qui fournit des services juridiques dans plusieurs scénarios d'application. Sur la base du jeu de données public des tâches PNL dans le domaine juridique, du texte juridique original et du jeu de données d'instructions générales open source, les instructions juridiques sont reconstruites selon le syllogisme juridique pour la surveillance et la mise au point. Afin d'améliorer la fiabilité de la sortie, nous avons ajouté un module de récupération externe. En améliorant le raisonnement juridique et les capacités de récupération de connaissances, DISC-LawLLM surpasse les LLM juridiques existants sur l'ensemble de référence juridique que nous avons construit. La recherche dans ce domaine apportera davantage de perspectives et de possibilités pour parvenir à un équilibre juridique des ressources, etc. Nous avons publié l'ensemble de données construit et les pondérations du modèle pour promouvoir des recherches plus approfondies.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!