찾다
기술 주변기기일체 포함자연어 처리를 이용한 보험 문서 클러스터링 전략 및 방법

번역가 | Li Rui

리뷰어 | Sun Shujuan

보험 업계의 자연어 처리(NLP)는 고급 기호 추론을 활용하는 동시에 확장성을 향상시키는 하이브리드 기계 학습/기호 접근 방식의 이점을 누릴 수 있습니다.

자연어 처리를 이용한 보험 문서 클러스터링 전략 및 방법

보험 문서 및 정책: 복잡한 사용 사례

보험 분야에서 최대 87%의 데이터 과학 프로젝트가 개념 증명에서 생산으로 넘어가지 못하는 것으로 알려져 있습니다. 예외. 그들은 이 공간과 그 복잡함과 필연적으로 관련된 몇 가지 어려움을 극복해야 합니다.

주요 어려움은 다음과 같습니다.

  • 보험 관련 문서의 복잡한 레이아웃.
  • 관련 주석이 포함된 대규모 자료가 부족합니다.

레이아웃의 복잡성이 너무 커서 동일한 언어 개념이라도 문서의 위치에 따라 의미와 가치가 크게 바뀔 수 있습니다.

아래의 간단한 예를 살펴보십시오. 정책에 "테러" 보장이 있는지 여부를 식별하는 엔진을 구축하려는 경우 위치에 관계없이 다른 값을 할당해야 합니다.

(1) 선언 페이지 하위 제한 부분.

(2) 정책의 "제외" 섹션.

(3) 하나 이상의 보험 보증을 추가합니다.

(4) 보장 범위에 특정 보증을 추가합니다.

고품질의 적절한 크기의 주석이 달린 보험 문서 말뭉치의 부족은 이러한 복잡한 문서에 주석을 다는 데 따른 본질적인 어려움과 수만 개의 보험 증권에 주석을 다는 데 필요한 노력의 양과 직접적인 관련이 있습니다.

그리고 이것은 빙산의 일각에 불과합니다. 이와 더불어 보험의 개념을 정상화할 필요성도 고려해야 한다.

언어 정규화: 보험 언어에서 눈에 보이지 않지만 강력한 힘

데이터베이스를 다룰 때 개념의 정규화는 잘 알려진 프로세스입니다. 추론을 적용하고 주석 처리 속도를 높이는 것이 핵심이기 때문에 보험 분야의 NLP에도 중요합니다.

정규화 개념은 동일한 태그 언어 요소로 그룹화하는 것을 의미하며 이는 매우 다르게 보일 수 있습니다. 많은 예가 있지만 가장 중요한 예는 자연재해를 보장하는 보험에서 나옵니다.

이 경우 홍수 구역마다 다른 하위 제한이 적용됩니다. 홍수 위험이 가장 높은 지역을 종종 "고위험 홍수 구역"이라고 합니다. 이 개념은 다음과 같이 표현될 수 있습니다:

(1) 레벨 1 홍수 지역

(2) 홍수 위험 지역(SFHA)

(3) 홍수 지역 A

실제로 모든 보험 보장에는 함께 그룹화할 수 있는 많은 용어가 있으며, 가장 중요한 자연 재해 보장은 특정 지리적 영역과 고유한 위험에 따라 2~3단계로 구분됩니다(I, II, III).

이에 찾을 수 있는 모든 가능한 요소를 곱하면 변형의 수가 빠르게 매우 커질 수 있습니다. 이로 인해 올바른 정보를 검색, 추론 또는 라벨링하려고 할 때 기계 학습 주석자와 자연어 처리(NLP) 엔진이 모두 정체됩니다.

새로운 유형의 언어 클러스터링: 하이브리드 접근 방식

복잡한 자연어 처리(NLP) 작업을 해결하는 더 나은 방법은 기계 학습 기반 미시 언어 클러스터링을 통해 보험 업무를 개선하는 하이브리드(기계 학습/기호) 기술을 기반으로 합니다. 프로세스의 결과와 라이프사이클은 기호 엔진에 의해 상속됩니다.

비지도 학습 방법에서는 전통적인 텍스트 클러스터링이 의미론적 패턴을 추론하고 비슷한 주제, 비슷한 의미를 가진 문장 등을 가진 문서를 그룹화하는 데 사용되는 반면, 하이브리드 방법은 상당히 다릅니다. 미시 언어 클러스터는 사전 정의된 정규화된 값을 사용하여 레이블이 지정된 데이터에 대해 훈련된 기계 학습 알고리즘을 사용하여 세부적인 수준에서 생성됩니다. 미시 언어 클러스터가 추론되면 추가 기계 학습 활동이나 기호 계층을 기반으로 하는 하이브리드 파이프라인 기반 추론 논리에 사용할 수 있습니다.

이것은 프로그래밍의 전통적인 황금률인 "문제 해결"과 일치합니다. 복잡한 사용 사례(보험 분야의 대부분의 사용 사례와 마찬가지로)를 해결하는 첫 번째 단계는 해당 사용 사례를 더 작고 더 맛있는 덩어리로 나누는 것입니다.

혼합 언어 클러스터링으로 수행할 수 있는 작업은 무엇이며 확장성은 얼마나 됩니까?

기호 엔진은 훈련 단계에서 볼 수 없는 상황을 처리할 때 기계 학습의 유연성이 없기 때문에 매우 정확하지만 확장 가능하지 않은 것으로 분류되는 경우가 많습니다.

그러나 이러한 유형의 언어 클러스터링은 기계 학습을 활용하여 개념을 식별한 다음 파이프라인에서 다음 기호 엔진의 복잡하고 정확한 논리로 전달함으로써 이 문제를 해결합니다.

가능성은 무궁무진합니다. 예를 들어 기호 단계는 개념이 속한 문서 세그먼트를 기반으로 기계 학습 인식의 본질적인 가치를 변경할 수 있습니다.

다음은 기계 학습 모듈에서 전달된 레이블을 어떻게 사용하는지 알아보기 위해 "분할"(텍스트를 관련 영역으로 분할)이라는 표기 프로세스를 사용하는 예입니다.

모델이 100페이지짜리 보험에서 특정 보장이 제외되는지 여부를 이해해야 한다고 상상해 보세요.

머신 러닝 엔진은 먼저

  • "미술"
  • "예술 작품"
  • "예술 예술 품목
  • 보석
  • 등 "예술" 범위의 가능한 모든 변형을 통합합니다.

이후 파이프라인의 기호 섹션에서는 '제외' 섹션에 'Arts' 태그가 언급되어 있는지 확인하여 적용 범위가 정책에서 제외되는지, 아니면 적용되는지(하위 항목으로) 이해합니다. -제한 목록) 부분).

이로 인해 기계 학습 주석자는 정책에서의 위치에 따라 모든 'Arts' 변형에 다른 라벨을 할당하는 것에 대해 걱정할 필요가 없습니다. 변형에 'Arts'(Arts) 주석만 달면 됩니다. 마이크로 언어 클러스터 역할을 합니다.

복잡한 작업의 또 다른 유용한 예는 데이터 집계입니다. 하이브리드 엔진이 특정 적용 범위의 하위 제한 사항과 적용 범위 정규화 문제를 추출하도록 설계된 경우 처리해야 할 추가 복잡성 계층이 있습니다. 즉, 집계를 위한 언어 항목의 순서입니다.

현재 작업은 특정 적용 범위의 하위 제한뿐만 아니라 해당 한정자(이벤트별, 집계별 등)도 추출하는 것이라고 생각하세요. 이 세 항목은 여러 가지 다른 주문으로 배열될 수 있습니다.

  • 미술 항목당 $100,000
  • 미술 항목당 $100,000
  • 항목당 $100,000 미술
  • $100,000 미술
  • 미술 $100,000

집계하여 모두 악용 이러한 데이터 순열은 동시에 기계 학습 모델의 복잡성을 크게 증가시킬 수 있습니다. 반면에 하이브리드 접근 방식에서는 기계 학습 모델이 정규화된 레이블을 식별한 다음 기호 추론을 통해 기계 학습 부분의 입력 데이터를 기반으로 올바른 순서를 식별할 수 있습니다.

이것은 정규화된 개념을 식별하기 위해 확장 가능한 기계 학습 알고리즘 위에 무제한의 복잡한 기호 논리 및 추론을 적용할 수 있음을 보여주는 두 가지 예일 뿐입니다.

구축 및 유지 관리가 더 쉬운 확장 가능한 워크플로

확장성 외에도 상징적 추론은 전체 프로젝트 워크플로에 다른 이점을 제공합니다.

  • 복잡한 작업에 대해 다른 기계 학습 워크플로를 구현할 필요가 없으며, 다른 태그를 구현해야 함 그리고 유지. 또한 단일 기계 학습 모델을 재교육하는 것은 여러 모델을 재교육하는 것보다 더 빠르고 리소스를 덜 소비합니다.
  • 비즈니스 로직의 복잡한 부분은 기호적으로 처리되므로 데이터 주석자가 기계 학습 파이프라인에 사람 주석을 추가하는 것이 훨씬 쉽습니다.
  • 위에서 언급한 것과 같은 이유로 테스터가 기계 학습 표준화 프로세스에 직접 피드백을 제공하는 것이 더 쉽습니다. 또한 워크플로의 기계 학습 부분이 언어 요소를 정규화하므로 사용자는 문서에 레이블을 지정할 수 있는 태그 목록이 더 적습니다.
  • 기호 규칙은 자주 업데이트할 필요가 없습니다. 자주 업데이트되는 것은 기계 학습 부분이며, 이는 사용자 피드백의 이점도 얻습니다.

결론

  • 보험 분야의 복잡한 프로젝트에서 기계 학습은 추론 논리를 간단한 태그로 압축하기 어렵기 때문에 어려움을 겪을 수 있으며 이는 또한 주석 작성자의 삶을 더욱 어렵게 만듭니다.
  • 텍스트 배치와 추론은 동일한 언어 형식을 가진 개념의 실제 의미를 크게 바꿀 수 있습니다.
  • 순수한 기계 학습 워크플로에서는 논리가 복잡할수록 프로덕션 수준의 정확성을 달성하기 위해 일반적으로 더 많은 교육 문서가 필요합니다.
  • 이러한 이유로 기계 학습에는 효과적인 모델을 구축하기 위해 사전 레이블이 지정된 수천 개(심지어 수만 개)의 문서가 필요합니다.
  • 하이브리드 접근 방식은 복잡성을 줄입니다. 기계 학습과 사용자의 주석은 언어 클러스터/태그를 생성하며, 이는 목표를 달성하기 위한 기호 엔진의 시작점 또는 빌딩 블록으로 사용됩니다.
  • 검증된 사용자 피드백은 가장 세부적인 부분(워크플로의 상징적인 부분에서 처리할 수 있음)을 변경하지 않고도 모델을 재교육하는 데 사용할 수 있습니다.

원제: 보험 정책: 하이브리드 NLP를 통한 문서 클러스터링, 저자: Stefano Reitano

위 내용은 자연어 처리를 이용한 보험 문서 클러스터링 전략 및 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

自然语言生成任务中的五种采样方法介绍和Pytorch代码实现自然语言生成任务中的五种采样方法介绍和Pytorch代码实现Feb 20, 2024 am 08:50 AM

在自然语言生成任务中,采样方法是从生成模型中获得文本输出的一种技术。这篇文章将讨论5种常用方法,并使用PyTorch进行实现。1、GreedyDecoding在贪婪解码中,生成模型根据输入序列逐个时间步地预测输出序列的单词。在每个时间步,模型会计算每个单词的条件概率分布,然后选择具有最高条件概率的单词作为当前时间步的输出。这个单词成为下一个时间步的输入,生成过程会持续直到满足某种终止条件,比如生成了指定长度的序列或者生成了特殊的结束标记。GreedyDecoding的特点是每次选择当前条件概率最

2023年机器学习的十大概念和技术2023年机器学习的十大概念和技术Apr 04, 2023 pm 12:30 PM

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

基于因果森林算法的决策定位应用基于因果森林算法的决策定位应用Apr 08, 2023 am 11:21 AM

译者 | 朱先忠​审校 | 孙淑娟​在我之前的​​博客​​中,我们已经了解了如何使用因果树来评估政策的异质处理效应。如果你还没有阅读过,我建议你在阅读本文前先读一遍,因为我们在本文中认为你已经了解了此文中的部分与本文相关的内容。为什么是异质处理效应(HTE:heterogenous treatment effects)呢?首先,对异质处理效应的估计允许我们根据它们的预期结果(疾病、公司收入、客户满意度等)选择提供处理(药物、广告、产品等)的用户(患者、用户、客户等)。换句话说,估计HTE有助于我

LazyPredict:为你选择最佳ML模型!LazyPredict:为你选择最佳ML模型!Apr 06, 2023 pm 08:45 PM

本文讨论使用LazyPredict来创建简单的ML模型。LazyPredict创建机器学习模型的特点是不需要大量的代码,同时在不修改参数的情况下进行多模型拟合,从而在众多模型中选出性能最佳的一个。 摘要本文讨论使用LazyPredict来创建简单的ML模型。LazyPredict创建机器学习模型的特点是不需要大量的代码,同时在不修改参数的情况下进行多模型拟合,从而在众多模型中选出性能最佳的一个。​本文包括的内容如下:​简介​LazyPredict模块的安装​在分类模型中实施LazyPredict

Mango:基于Python环境的贝叶斯优化新方法Mango:基于Python环境的贝叶斯优化新方法Apr 08, 2023 pm 12:44 PM

译者 | 朱先忠审校 | 孙淑娟引言模型超参数(或模型设置)的优化可能是训练机器学习算法中最重要的一步,因为它可以找到最小化模型损失函数的最佳参数。这一步对于构建不易过拟合的泛化模型也是必不可少的。优化模型超参数的最著名技术是穷举网格搜索和随机网格搜索。在第一种方法中,搜索空间被定义为跨越每个模型超参数的域的网格。通过在网格的每个点上训练模型来获得最优超参数。尽管网格搜索非常容易实现,但它在计算上变得昂贵,尤其是当要优化的变量数量很大时。另一方面,随机网格搜索是一种更快的优化方法,可以提供更好的

如何使用PHP进行基本的自然语言生成如何使用PHP进行基本的自然语言生成Jun 22, 2023 am 11:05 AM

自然语言生成是一种人工智能技术,它能够将数据转换为自然语言文本。在当今的大数据时代,越来越多的业务需要将数据可视化或呈现给用户,而自然语言生成正是一种非常有效的方法。PHP是一种非常流行的服务器端脚本语言,它可以用于开发Web应用程序。本文将简要介绍如何使用PHP进行基本的自然语言生成。引入自然语言生成库PHP自带的函数库并不包括自然语言生成所需的功能,因此

超参数优化比较之网格搜索、随机搜索和贝叶斯优化超参数优化比较之网格搜索、随机搜索和贝叶斯优化Apr 04, 2023 pm 12:05 PM

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠​审校 | 孙淑娟​简介​通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。​顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음