Alipay 검색 경험을 개선하기 위해 Ant와 Peking University는 계층적 비교 학습 텍스트 생성 프레임워크를 사용합니다.

텍스트 생성 작업은 일반적으로 교사 강제를 사용하여 훈련됩니다. 이 훈련 방법을 사용하면 모델은 훈련 과정에서 긍정적인 샘플만 볼 수 있습니다. 그러나 일반적으로 생성 대상과 입력 사이에는 특정 제약 조건이 문장의 핵심 요소에 반영됩니다. 예를 들어 쿼리 재작성 작업에서는 "order McDonald's"를 "order KFC"로 변경할 수 없습니다. 자제력의 핵심 요소는 브랜드 키워드입니다. 대조 학습을 도입하고 생성 프로세스에 부정적인 샘플 패턴을 추가함으로써 모델은 이러한 제약 조건을 효과적으로 학습할 수 있습니다.

기존 대조 학습 방법은 주로 전체 문장 수준에 초점을 맞추고[1][2], 문장 내 단어 단위의 정보를 무시합니다. 아래 그림의 예는 문장의 핵심 단어를 보여줍니다. 단어의 중요한 의미. 입력 문장의 경우 키워드가 바뀌면(예: 우주론->천체물리학) 문장의 의미가 바뀌므로 의미 공간에서의 위치(분포로 표시)도 변경됩니다. . 키워드는 문장에서 가장 중요한 정보로서 의미 분포의 한 지점에 해당하며, 이는 문장 분포의 위치를 ​​크게 결정합니다. 동시에, 어떤 경우에는 기존 대조 학습 목표가 모델에 비해 너무 쉽기 때문에 모델이 긍정적인 사례와 부정적인 사례 사이의 핵심 정보를 실제로 학습할 수 없게 됩니다.

이를 바탕으로 Ant Group, Peking University 및 기타 기관의 연구자들은 다중 입도 대비 생성 방법을 제안하고 계층적 대비 구조를 설계하고 다양한 수준에서 정보를 강화하며 문장 입도에서 학습을 강화했습니다. 전반적인 의미론은 단어 세분성에서 지역의 중요한 정보를 향상시킵니다. ACL 2022에 대한 연구 논문이 승인되었습니다.

논문 주소: https://aclanthology.org/2022.acl-long.304.pdf

Method

우리의 접근 방식은 다음을 기반으로 합니다. classic CVAE 텍스트 생성 프레임워크[3][4]에서 각 문장은 벡터 공간의 분포에 매핑될 수 있으며 문장의 키워드는 이 분포에서 샘플링된 포인트로 간주될 수 있습니다. 한편으로는 문장 입도 비교를 통해 잠재 공간 벡터 분포의 표현을 향상시키고, 다른 한편으로는 구축된 전역 키워드 그래프를 통해 키워드 포인트 입도의 표현을 향상시킵니다. 키워드 포인트와 문장의 분포. 구성 수준 간의 대조를 통해 두 세분성에서 정보 표현을 향상시킵니다. 최종 손실 함수는 세 가지 서로 다른 대조 학습 손실을 추가하여 얻습니다.

문장 세분화 비교 학습

인스턴스 수준에서는 원래 입력 x, 목표 출력

을 사용합니다. 해당 출력 네거티브 샘플 문장을 만들어 보세요. 쌍 크기 비교

. 우리는 사전 네트워크를 사용하여

으로 기록된 사전 분포

을 학습하고 사후 네트워크를 통해 근사 사후 분포

를 학습합니다.

및

은 각각

및

으로 표시됩니다. .. 문장 세분화 비교 학습의 목표는 사전 분포와 양의 사후 분포 사이의 거리를 최대한 줄이는 동시에 사전 분포와 음의 사후 분포 사이의 거리를 최대화하는 것입니다.

여기서 는 양성 샘플 또는 음성 샘플이고, 는 거리 측정을 나타내는 데 사용되는 온도 계수입니다. 여기서는 KL 발산(Kullback-Leibler 발산)을 사용합니다. ] 두 분포 사이의 직접적인 거리를 측정합니다.

키워드 세분화 비교 학습

• 키워드 네트워크

키워드 세분화 비교 학습은 모델이 문장정보 , 우리는 입력 및 출력 텍스트에 해당하는 긍정적인 관계와 부정적인 관계를 사용하여 키워드 그래프를 구성함으로써 이 목표를 달성합니다. 구체적으로, 주어진 문장 쌍

에 따라 키워드

과

을 각각 결정할 수 있습니다. （ 키워드 추출 방법은, 나는 고전적인 TextRank 알고리즘 [6]을 사용합니다. 문장

에는 동일한 키워드

을 사용하는 다른 문장이 있을 수 있습니다.

, 모든 문장

에는 한 쌍의 긍정 및 부정 예문 출력 문장

이 있습니다. 키워드

및 제외 예시 키워드

. 이런 식으로 전체 컬렉션에서 모든 출력 문장

에 대해 해당 키워드

및 주변의 각

으로 간주할 수 있습니다.

거기

(문장 간의 긍정적 및 부정적 관계를 통해 연결됨)

사이에는 긍정적인 가장자리가 있으며, 각 주변

부정적인 측면

. 이러한 키워드 노드와 해당 직접 가장자리를 기반으로 키워드 그래프를 구축할 수 있습니다

각 노드에 BERT 임베딩[7]을 사용합니다

초기화하고 사용합니다. 각 모서리의 표현을 학습하는 MLP 레이어

. GAT(Graph Attention) 레이어와 MLP 레이어를 통해 키워드 네트워크의 노드와 엣지를 반복적으로 업데이트합니다. 각 반복에서 먼저 다음과 같은 방식으로 엣지 표현을 업데이트합니다.

여기

은

또는

일 수 있습니다.

그런 다음 업데이트된 가장자리를 기반으로

, 그래프 어텐션 레이어를 통해 각 노드의 표현을 업데이트합니다.

Here

은 모두 학습 가능한 매개변수입니다.

주목 가중치입니다. Vanishing Gradient 문제를 방지하기 위해

에 잔여 연결을 추가하여 이 반복

에서 노드 표현을 얻습니다. 마지막 반복의 노드 표현을 u로 표시된 키워드 표현으로 사용합니다.

• 키워드 비교

키워드 세분성 비교는 입력 문장의 키워드

에서 비롯됩니다. 사기꾼 노드

. 입력 문장의 출력 긍정 샘플에서 추출된 키워드를

로 기록하고, 위 키워드 네트워크의 부정 이웃 노드는

, 으로 기록합니다.

, 키워드 세분성의 비교 학습 손실은 다음과 같이 계산됩니다.

을 가리키는 데 사용됩니다.

또는

, h(·)는 거리 측정을 나타내는 데 사용됩니다. 키워드 세분성 비교 학습에서는 두 지점 사이의 거리를 계산하기 위해 코사인 유사성을 선택합니다.

• Cross-granularity 대조 학습

위의 문장 세분성 및 키워드 세분성 대조 학습은 분포와 지점에서 각각 구현되어 있음을 알 수 있습니다. 두 개의 세분성이 가능합니다. 차이가 작아지면 강화 효과가 약해집니다. 이에 대해 우리는 점과 분포 사이의 Mahalanobis 거리[8]를 기반으로 서로 다른 세분성 간의 비교 연관성을 구성하여 대상 출력 키워드와 문장 분포 사이의 거리가 최대한 작아지도록 하고 사기꾼 사이의 거리가 각 입자 크기를 독립적으로 비교하면 대비가 사라질 수 있다는 단점을 보완합니다. 구체적으로, 교차 입도 마할라노비스 거리 대조 학습은 문장의 사후 의미 분포

과

사이의 거리를 최대한 줄이고, 사이의 거리를 늘리는 것을 목표로 합니다. 그것과

사이의 거리는 다음과 같습니다. 도 사용됩니다.

를 참조하세요.

또는

이고 h(·)는 Mahalanobis 거리입니다.

실험 및 분석

실험 결과

우리는 Douban(Dialogue) [9], QQP(Paraphrasing) [10][11] 및 Roc의 세 가지 공개 데이터 세트에서 수행했습니다. 스토리 실험 (Storytelling)[12]을 진행하여 SOTA 결과를 얻었습니다. 우리가 비교하는 기준선에는 기존 생성 모델(예: CVAE[13], Seq2Seq[14], Transformer[15]), 사전 훈련된 모델 기반 방법(예: Seq2Seq-DU[16], DialoGPT[17], BERT-GEN)이 포함됩니다. [7], T5[18]) 및 대조 학습 기반 방법(예: 그룹별[9], T5-CLAPS[19]). 자동 평가 지표로 문장 쌍 사이의 BLEU 점수[20]와 BOW 임베딩 거리(극단/평균/탐욕)[21]를 계산합니다. 결과는 아래 그림과 같습니다. 수동 평가는 각각 T5-CLAPS, DialoGPT, Seq2Seq-DU에 주석이 달린 3개의 주석과 우리 모델에 의해 생성된 결과에도 사용됩니다.

절제 분석

키워드 사용 여부, 키워드 네트워크 사용 여부, 마할라노비스 거리 비교 분포 사용 여부에 대해 절제 분석 실험을 수행한 결과 이 ​​세 가지 디자인이 실제로 비즈니스에 중요한 역할을 한다는 것을 알 수 있습니다. 최종 결과가 중요한 역할을 하기 때문에 실험 결과는 아래 그림에 나와 있습니다.

시각적 분석

우리는 무작위로 샘플링된 사례를 시각화하고 t-sne[22]을 통해 차원 축소를 수행하여 다음을 얻었습니다. 다음 그림. 그림을 보면 입력 문장의 표현이 추출된 키워드 표현에 가깝다는 것을 알 수 있는데, 이는 문장에서 가장 중요한 정보인 키워드가 대개 의미분포의 위치를 ​​결정한다는 것을 보여준다. 또한, 대조 학습에서는 훈련 후 입력 문장의 분포가 긍정적 샘플에 더 가깝고 부정적인 샘플에서 멀어지는 것을 볼 수 있으며, 이는 대조 학습이 의미 분포를 수정하는 데 도움이 될 수 있음을 보여줍니다.

키워드 중요도 분석

마지막으로 다양한 키워드 샘플링의 영향을 살펴봅니다. 아래 표와 같이 입력 질문에 대해 각각 TextRank 추출과 무작위 선택 방법을 통해 의미 분포를 제어하기 위한 조건으로 키워드를 제공하고 생성된 텍스트의 품질을 확인합니다. 키워드는 문장에서 가장 중요한 정보 단위입니다. 키워드에 따라 의미 분포가 달라지며 더 많은 키워드를 선택할수록 문장이 더 정확해집니다. 한편, 다른 모델에서 생성된 결과도 아래 표에 나와 있습니다.

비즈니스 애플리케이션

이 기사에서는 여러 텍스트 생성 데이터 세트 기본 작업에서 경쟁력을 갖춘 교차 세분성 계층적 대조 학습 메커니즘을 제안합니다. 본 작업을 기반으로 한 쿼리 재작성 모델은 Alipay 검색의 실제 비즈니스 시나리오에서 성공적으로 구현되어 놀라운 결과를 얻었습니다. Alipay의 검색에 포함된 서비스는 광범위한 영역을 포괄하며 상당한 도메인 특성을 가지고 있습니다. 사용자의 검색어 표현과 서비스의 표현은 문자 그대로 큰 차이가 있어 키워드를 기반으로 직접 매칭하여 이상적인 결과를 얻기가 어렵습니다. 예를 들어, 사용자가 "신차 출시 쿼리"라는 쿼리를 입력하면 "신차 출시 쿼리" 서비스를 불러올 수 없습니다.) 쿼리 재작성의 목적은 사용자가 입력한 쿼리를 다음과 더 가까운 방식으로 다시 작성하는 것입니다. 쿼리 의도를 변경하지 않고 서비스 표현을 변경하여 대상 서비스와 더 잘 일치시킵니다. 다음은 몇 가지 단어 변경 예입니다.

위 내용은 Alipay 검색 경험을 개선하기 위해 Ant와 Peking University는 계층적 비교 학습 텍스트 생성 프레임워크를 사용합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!