서버가 과밀하고 북경대학교의 대형 법률 모델인 ChatLaw가 인기가 있습니다. Zhang San이 어떻게 형을 선고받았는지 직접 알려주세요.
- PHPz앞으로
- 2023-07-05 09:21:161317검색
대형 모델이 또 '폭발'했습니다.
어젯밤 대형 법률 모델 ChatLaw가 Zhihu 핫 검색 목록에서 1위를 차지했습니다. 최고 인기는 2000만명에 이르렀다.
이 ChatLaw는 Peking University 팀에서 발표했으며 포괄적인 법률 서비스를 제공하기 위해 최선을 다하고 있습니다. 현재 전국적으로 변호사가 부족하고 공급이 법적 수요에 비해 훨씬 적습니다. 반면 일반 국민은 법률 지식과 조항에 자연적인 격차가 있어 법률을 활용할 수 없습니다. 자신을 보호하기 위한 합법적인 무기.
최근 대형 언어 모델의 등장은 일반 사람들이 대화 방식으로 법률 관련 문제를 상담할 수 있는 좋은 기회를 제공합니다.
현재 ChatLaw에는 다음과 같은 세 가지 버전이 있습니다.
- ChatLaw-13B는 학술용 데모 버전이며 Jiang Ziya Ziya-LLaMA-13B-v1을 기반으로 교육되었습니다. 중국어를 아주 잘해요. 그러나 논리적으로 복잡한 법적 질문과 답변은 효과적이지 않으며 해결하려면 더 큰 매개변수를 가진 모델이 필요합니다.
- 학술적 데모 버전인 ChatLaw-33B는 Anima-33B를 기반으로 훈련되었으며 논리적 추론 능력이 매우 뛰어납니다. 향상. 하지만 Anima의 중국어 코퍼스가 너무 적기 때문에 Q&A 중에 영어 데이터가 자주 등장합니다.
- ChatLaw-Text2Vec은 930,000개의 판단 사례로 구성된 데이터 세트를 사용하여 사용자에게 질문할 수 있는 BERT 기반 유사 매칭 모델을 학습했습니다. 정보는 해당 법적 조항과 일치합니다.
공식 시연에 따르면 ChatLaw는 사용자가 문서 및 녹음과 같은 법률 자료를 업로드하여 요약 및 분석하고 시각적 지도, 차트 등을 생성할 수 있도록 지원합니다. 또한 ChatLaw는 사실을 기반으로 법적 조언과 법률 문서를 생성할 수 있습니다. 이 프로젝트는 GitHub에 1.1,000개의 별을 보유하고 있습니다.
Pictures
공식 웹사이트 주소: https://www.chatlaw.cloud/
논문 주소: https://arxiv.org/pdf/2306.16092.pdf
이것은 us GitHub 프로젝트 링크: https://github.com/PKU-YuanGroup/ChatLaw
현재 ChatLaw 프로젝트의 인기로 인해 일시적으로 서버가 다운되고 컴퓨팅 성능이 한계에 도달했습니다. 팀은 수정 작업을 진행 중이며 관심 있는 독자는 GitHub에 베타 모델을 배포할 수 있습니다.
편집자 본인은 아직 비공개 베타 테스트 대기열에 있습니다. 다음은 온라인 쇼핑 시 발생할 수 있는 "7일 사유 없는 반품" 문제에 대해 ChatLaw 팀에서 제공한 공식 대화 예시입니다. ChatLaw의 답변은 매우 포괄적이라고 말씀드리고 싶습니다.
Pictures
그러나 편집자는 ChatLaw의 학술 데모 버전을 사용해 볼 수 있다는 사실을 발견했습니다. 안타깝게도 법률 상담 기능에 대한 액세스 권한은 없으며 간단한 대화 상담 서비스만 제공됩니다. 다음은 시도해 볼 수 있는 몇 가지 질문입니다.
Pictures
사실 최근 대형 법률 모델을 내놓은 곳은 북경대학교뿐만이 아닙니다. 지난달 말 Power Law Intelligence와 Zhipu AI는 1000억 매개변수 수준의 법적 수직 모델 PowerLawGLM을 출시했습니다. 이 모델은 중국 법률 시나리오에서 적용 효과에서 독특한 이점을 보여준 것으로 보고되었습니다.
ChatLaw의 데이터 소스 및 교육 프레임워크
첫 번째는 데이터 구성입니다. ChatLaw 데이터는 주로 포럼, 뉴스, 법률 조항, 사법 해석, 법률 상담, 법률 심사 질문, 판결 문서로 구성되며 대화 데이터는 정리, 데이터 강화 등을 통해 구축됩니다. 동시에 ChatLaw 팀은 Peking University School of International Law 및 유명 업계 법률 회사와 협력하여 데이터의 전문성과 신뢰성을 보장하면서 지식 기반을 적시에 업데이트할 수 있도록 보장할 수 있습니다. 아래에서 구체적인 예를 살펴보겠습니다.
법률, 규정 및 사법 해석에 따른 시공 사례:
실제 법률 상담 데이터 수집 예:
사법 시험용 객관식 문제 구성 예:
Pictures
다음에는 모델 수준이 있습니다. ChatLAW를 훈련시키기 위해 연구팀은 Ziya-LLaMA-13B 기반의 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정했습니다. 또한 본 연구에서는 모형환각의 문제를 완화하기 위해 자기암시 역할도 도입한다. 훈련 프로세스는 여러 개의 A100 GPU에서 수행되며 deepspeed는 훈련 비용을 더욱 절감합니다.
다음 그림은 ChatLAW의 아키텍처 다이어그램입니다. 이 연구는 법률 데이터를 모델에 주입하고 이 지식의 특수 처리 및 향상을 수행하는 동시에 일반 모델과 전문 모델을 결합하기 위해 추론 중에 여러 모듈을 도입합니다. 모델은 지식 기반과 통합됩니다.
이 연구에서도 모델이 올바른 법률과 규정을 생성하고 모델 환상을 최대한 줄일 수 있도록 추론 중에 모델을 제한했습니다.
Pictures
처음에 연구팀은 검색을 위해 MySQL, Elasticsearch를 사용하는 등 전통적인 소프트웨어 개발 방법을 시도했지만 결과는 만족스럽지 못했습니다. 따라서 본 연구에서는 임베딩을 위한 BERT 모델을 사전 학습시킨 후 Faiss 등의 방법을 사용하여 코사인 유사도를 계산하고 사용자 쿼리와 관련된 상위 k개의 법률 및 규정을 추출하는 것으로 시작했습니다.
이 접근 방식은 사용자의 문제가 모호할 때 차선책인 결과를 생성하는 경우가 많습니다. 따라서 연구자들은 매칭 정확도를 높이기 위해 사용자 쿼리와 이 정보의 벡터 임베딩을 사용하여 설계 알고리즘에서 핵심 정보를 추출합니다.
대형 모델은 사용자 쿼리를 이해하는 데 상당한 이점이 있으므로 본 연구에서는 LLM을 미세 조정하여 사용자 쿼리에서 키워드를 추출했습니다. 여러 개의 키워드를 얻은 후, 연구에서는 알고리즘 1을 사용하여 관련 법률 조항을 검색했습니다.
Pictures
실험 결과
본 연구는 10년 넘게 국가 사법 시험 문제를 수집하고 2000개의 문제와 표준 답안이 포함된 테스트 데이터 세트를 편집하여 모델을 측정하는 객관식 처리 능력을 측정합니다. 법적 질문.
그러나 연구에 따르면 각 모델의 정확도는 일반적으로 낮은 것으로 나타났습니다. 이 경우 정확도를 비교하는 것만으로는 큰 의미가 없습니다. 따라서 본 연구에서는 리그 오브 레전드의 ELO 매칭 메커니즘을 활용하고 모델 대 ELO 메커니즘을 만들어 법적 객관식 문제를 처리하는 각 모델의 능력을 보다 효과적으로 평가합니다. 다음은 각각 ELO 점수와 승률 차트입니다.
Pictures
위의 실험 결과를 분석하여 다음과 같은 관찰 결과를 도출할 수 있습니다
(1) 법률 관련 질문과 답변 소개 및 규제 조항 데이터는 객관식 질문에 대한 모델 성능을 어느 정도 향상시킬 수 있습니다.
(2) 훈련을 위해 특정 유형의 작업 데이터를 추가하면 이러한 유형의 작업에 대한 모델 성능이 크게 향상됩니다. . 예를 들어, ChatLaw 모델이 GPT-4보다 나은 이유는 기사가 훈련 데이터로 다수의 객관식 질문을 사용하기 때문입니다.
(3) 법적 객관식 질문에는 복잡한 논리적 추론이 필요합니다. 더 큰 매개변수를 가진 모델은 일반적으로 더 나은 성능을 발휘합니다.
참조 Zhihu 링크:
https://www.zhihu.com/question/610072848
기타 참조 링크:
https://mp.weixin.qq.com/s /bXAFALFY6GQkL30j1sYCEQ
위 내용은 서버가 과밀하고 북경대학교의 대형 법률 모델인 ChatLaw가 인기가 있습니다. Zhang San이 어떻게 형을 선고받았는지 직접 알려주세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!