큰 언어 모델로 뉴스 추천을 설명 할 수 있습니다

der spiegel은 뉴스 기사 권장 사항을 개선하기 위해 LLM (Lange Language Model)을 사용하여 탐색합니다. 오프라인 실험은 독서 기록에 따라 독자의 관심을 예측하는 LLM의 능력을 평가했습니다. 방법론 :

리더 설문 조사 데이터는 선호도의 근거 진실을 제공했습니다. 각 참가자의 독서 기록 및 기사 관심 등급이 사용되었습니다. 권장 엔진 역할을하는 Anthropic의 Claude 3.5 Sonnet LLM은 새로운 기사에 대한 관심을 예측하기 위해 각 독자의 역사 (제목 및 요약)를 받았습니다 (0-1000 점). JSON 출력 형식은 구조화 된 결과를 보장합니다. LLM의 예측은 실제 조사 등급과 비교되었습니다. 자세한 방법론은 다음과 같습니다

뉴스 추천 시스템의 오프라인 평가에 대한 혼합 방법 접근

주요 결과 : 인상적인 결과가 달성되었습니다. 정밀@5는 56%에 도달했습니다-5 개의 기사를 추천 할 때 거의 3 개가 사용자의 최고급 기사 중 하나였습니다. 사용자의 24%에 대해 4 ~ 5 개의 상단 기사가 올바르게 예측되었습니다. 다른 41%의 경우 5 명 중 3 명이 정확했습니다. 이는 무작위 권장 사항 (38.8%), 인기 기반 권장 사항 (42.1%) 및 이전 임베딩 기반 접근법 (45.4%)을 훨씬 능가합니다. 차트는 다른 방법에 대한 LLM 접근의 성능 향상을 보여줍니다.

두 번째 메트릭 인 Spearman 상관 관계는 0.41에 도달하여 임베딩 기반 접근법 (0.17)을 실질적으로 초과하여 선호도 강도에 대한 우수한 이해를 나타냅니다.

설명 가능성 :

LLM의 설명은 주요 이점입니다. 예는 시스템이 읽기 패턴을 분석하고 권장 사항을 정당화하는 방법을 보여줍니다.

이 투명성은 신뢰와 개인화를 향상시킵니다 도전과 미래 방향 :

높은 API 비용 (사용자 당 $ 0.21) 및 처리 속도 (사용자 당 몇 초)는 확장 성 문제가 발생합니다. 오픈 소스 모델과 프롬프트 엔지니어링을 탐색하면이를 완화 할 수 있습니다. 추가 데이터 통합 ​​(읽기 시간, 기사 인기)은 성능을 더욱 향상시킬 수 있습니다. 결론 :

LLM의 강력한 예측력과 설명은 뉴스 추천에 가치가 있습니다. 권장 사항 외에도 사용자 행동 및 콘텐츠 여정을 분석하는 새로운 방법을 제공하여 개인화 된 요약 및 통찰력을 가능하게합니다. 감사의 말

이 연구는 익명의 집계 된 사용자 데이터를 활용했습니다. LinkedIn을 통해 더 많은 토론을 환영합니다.

참고 문헌 Dairui, Liu & Yang, Boming & Du, Honghui & Greene, Derek & Hurley, Neil & Lawlor, Aonghus & Dong, Ruihai & Li, Irene. (2024). RecPrompt : 대형 언어 모델을 사용한 뉴스 추천을위한 자체 조정 프레임 워크.

위 내용은 큰 언어 모델로 뉴스 추천을 설명 할 수 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!