Xiaohongshu's large model paper sharing session brought together authors from four major international conferences

Large models are leading a new round of research boom, with numerous innovative results emerging in both industry and academia.

The Xiaohongshu technical team is also constantly exploring in this wave, and the research results of many papers have been frequently presented at top international conferences such as ICLR, ACL, CVPR, AAAI, SIGIR, and WWW.

What new opportunities and challenges are we discovering at the intersection of large models and natural language processing?

What are some effective evaluation methods for large models? How can it be better integrated into application scenarios?

On June 27, 19:00-21:30, [REDtech is coming] The eleventh issue of "Little Red Book 2024 Large Model Frontier Paper Sharing" will be broadcast online!

REDtech specially invited the Xiaohongshu community search team to the live broadcast room. They will share 6 large-scale model research papers published by Xiaohongshu in 2024. Feng Shaoxiong, the person in charge of Xiaohongshu Jingpai LTR, joined hands with Li Yiwei, Wang Xinglin, Yuan Peiwen, Zhang Chao, and others to discuss the latest large model decoding and distillation technology, large model evaluation methods, and the use of large models in Practical applications on the Xiaohongshu platform.

Make an appointment for live broadcast, and the author of multiple papers will communicate with you online! You will get the latest insights on large model technology, discuss future development trends, and communicate how to use these cutting-edge technologies to improve user experience and promote the intelligent development of the platform.

Activity Agenda

01 Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning / Selected for ICLR 2024

Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning Sexual method | Shared by: Li Yiwei

Self-Consistency (SC) has always been a widely used decoding strategy in thinking chain reasoning. It generates multiple thinking chains and takes the majority answer as the final answer. Improve model performance. But it is a costly method that requires multiple samples of a preset size. At ICLR 2024, Xiaohongshu proposed a simple and scalable sampling process - Early-Stopping Self-Consistency (ESC), which can significantly reduce Cost of SC. On this basis, the team further derived an ESC control scheme to dynamically select the performance-cost balance for different tasks and models. Experimental results on three mainstream reasoning tasks (mathematics, common sense, and symbolic reasoning) show that ESC significantly reduces the average number of samples across six benchmarks while almost maintaining the original performance.

Paper address: https://arxiv.org/abs/2401.10480

02 Integrate the Essence and Eliminate the Dross: Fine-Grained Self-Consistency for Free-Form Language Generation / Selected for ACL 2024

Select the finer points: Fine-grained self-consistency method for free-form generation tasks｜ Sharer: Wang Xinglin

Xiaohongshu proposed the Fine-Grained Self-Consistency (FSC) method in ACL 2024, which can significantly improve the self-consistency method in Performance on free-form generation tasks. The team first analyzed through experiments that the shortcomings of existing self-consistent methods for free-form generation tasks come from coarse-grained common sample selection, which cannot effectively utilize the common knowledge between fine-grained fragments of different samples. On this basis, the team proposed an FSC method based on large model self-fusion, and experiments confirmed that it achieved significantly better performance in code generation, summary generation, and mathematical reasoning tasks, while maintaining considerable consumption.

Paper address: https://github.com/WangXinglin/FSC

03 BatchEval: Towards Human-like Text Evaluation / Selected for ACL 2024, the field chairman gave full marks and recommended the best paper

Mai Toward human-level text evaluation｜ Shareer: Yuan Peiwen

Xiaohongshu proposed the BatchEval method in ACL 2024, which can achieve human-like text evaluation effects with lower overhead. The team first analyzed from a theoretical level that the shortcomings of existing text evaluation methods in evaluation robustness stem from the uneven distribution of evaluation scores, and the suboptimal performance in score integration comes from the lack of diversity of evaluation perspectives. On this basis, inspired by the comparison between samples in the human evaluation process to establish a more three-dimensional and comprehensive evaluation benchmark with diverse perspectives, BatchEval was proposed by analogy. Compared with several current state-of-the-art methods, BatchEval achieves significantly better performance in both evaluation overhead and evaluation effect.

Paper address: https://arxiv.org/abs/2401.00437

04 Poor-Supervised Evaluation for SuperLLM via Mutual Consistency / Selected for ACL 2024

Achieve superhuman level under the lack of accurate supervision signal through mutual consistency Large language model evaluation｜ Sharer: Yuan Peiwen

Xiaohongshu schlug in ACL 2024 die PEEM-Methode vor, mit der durch gegenseitige Konsistenz zwischen Modellen eine genaue Bewertung großer Sprachmodelle über die menschliche Ebene hinaus erreicht werden kann. Das Team analysierte zunächst, dass der aktuelle Trend der schnellen Entwicklung großer Sprachmodelle dazu führen wird, dass sie in vielerlei Hinsicht allmählich das menschliche Niveau erreichen oder sogar übertreffen. In dieser Situation wird der Mensch nicht mehr in der Lage sein, genaue Bewertungssignale zu liefern. Um die Fähigkeitsbewertung in diesem Szenario zu realisieren, schlug das Team die Idee vor, die gegenseitige Konsistenz zwischen Modellen als Bewertungssignal zu verwenden, und leitete daraus ab, dass bei unendlichen Bewertungsstichproben eine unabhängige Vorhersageverteilung zwischen den Referenzmodellen vorliegt und das zu bewertende Modell. Diese Konsistenz zwischen Referenzmodellen kann als genaues Maß für die Modellfähigkeit verwendet werden. Auf dieser Grundlage schlug das Team die auf dem EM-Algorithmus basierende PEEM-Methode vor, und Experimente bestätigten, dass sie die Unzulänglichkeit der oben genannten Bedingungen in der Realität wirksam lindern und so eine genaue Bewertung großer Sprachmodelle erreichen kann, die über das menschliche Niveau hinausgehen.

Papieradresse: https://github.com/ypw0102/PEEM

05 Staub in Gold verwandeln: Destillierung komplexer Denkfähigkeiten aus LLMs durch Nutzung negativer Daten / Ausgewählt in AAAI 2024 Oral

Verwendung negativer Proben zur Werbung große Modelle Destillation von Argumentationsfähigkeiten |. Teiler: Li Yiwei

Große Sprachmodelle (LLMs) eignen sich gut für verschiedene Argumentationsaufgaben, aber ihre Black-Box-Eigenschaften und die große Anzahl von Parametern behindern ihre weit verbreitete Anwendung in der Praxis. Insbesondere bei der Bearbeitung komplexer mathematischer Probleme kommt es bei LLMs manchmal zu fehlerhaften Argumentationsketten. Herkömmliche Forschungsmethoden übertragen nur Wissen aus positiven Stichproben und ignorieren synthetische Daten mit falschen Antworten. Auf der AAAI 2024 schlug das Xiaohongshu-Suchalgorithmus-Team ein innovatives Framework vor, schlug erstmals den Wert negativer Proben im Modelldestillationsprozess vor und überprüfte ihn und baute ein Modellspezialisierungs-Framework auf, das neben der Verwendung positiver Proben auch vollständige Ergebnisse lieferte Verwendung negativer Proben Zur Verfeinerung des LLM-Wissens. Das Framework umfasst drei Serialisierungsschritte, darunter Negative Assisted Training (NAT), Negative Calibration Enhancement (NCE) und Dynamic Self-Consistency (ASC), die den gesamten Prozess vom Training bis zur Inferenz abdecken. Eine umfangreiche Reihe von Experimenten zeigt die entscheidende Rolle negativer Daten bei der Destillation von LLM-Wissen.

Papieradresse: https://arxiv.org/abs/2312.12832

06 NoteLLM: Ein abrufbares großes Sprachmodell für Notizempfehlungen / Ausgewählt für WWW 2024

Empfehlungssystem für die Darstellung von Notizinhalten basierend auf einem großen Sprachmodell｜ Geteilt von: Zhang Chao

Die Xiaohongshu APP generiert jeden Tag eine große Anzahl neuer Notizen. Wie kann man diese neuen Inhalte interessierten Benutzern effektiv empfehlen? Die auf Notizinhalten basierende Empfehlungsdarstellung ist eine Methode zur Linderung des Kaltstartproblems von Notizen und bildet auch die Grundlage für viele nachgelagerte Anwendungen. In den letzten Jahren haben große Sprachmodelle aufgrund ihrer starken Generalisierungs- und Textverständnisfähigkeiten große Aufmerksamkeit auf sich gezogen. Daher hoffen wir, mithilfe großer Sprachmodelle ein Empfehlungssystem für die Darstellung von Notizinhalten zu erstellen und so das Verständnis von Notizinhalten zu verbessern. Wir stellen unsere jüngsten Arbeiten aus zwei Perspektiven vor: der Generierung erweiterter Darstellungen und der multimodalen Inhaltsdarstellung. Derzeit wurde dieses System auf mehrere Geschäftsszenarien von Xiaohongshu angewendet und erzielte erhebliche Vorteile.

Papieradresse: https://arxiv.org/abs/2403.01744

So können Sie live zuschauen

• Live-Übertragungszeit: 27. Juni 2024 19:00-21:30

• Live-Broadcast-Plattform: WeChat-Videokonto [REDtech], Live-Übertragung auf gleichnamigen Bilibili-, Douyin- und Xiaohongshu-Konten.

Gleichzeitig wird die Live-Übertragung auch gleichzeitig auf den Partner-Videokonten [Jichi Platform], [This Site] und [Datawhale] WeChat übertragen.

Du kannst gerne den Fragebogen ausfüllen und uns mitteilen, welche Themen Dir am großen Model am Herzen liegen, und während der Live-Übertragung ausführlich mit den Gästen interagieren.

Scannen Sie den QR-Code unten, um der Live-Übertragungs-Kommunikationsgruppe beizutreten, und Sie erhalten so schnell wie möglich den Live-Übertragungslink und die Starterinnerung; Sie können die sorgfältig organisierte [Papier-PDF-Sammlung] mit einem Klick verpacken und erhalten , und Sie haben auch die Möglichkeit, direkt mit dem Autor des Artikels zu kommunizieren!

Freunde einladen, einen Termin für Live-Übertragungsgeschenke zu vereinbaren

Das Community-Suchteam von Xiaohongshu rekrutiert derzeit für mehrere Positionen. Das Team ist für die Optimierung der Suchergebnisse von Xiaohongshu und die Erforschung des Schneidens verantwortlich Modernste Technologien und engagiert sich für den Aufbau von Chinas größter Lebenssuchmaschine. Wir hoffen, dass Sie mitmachen können!

The above is the detailed content of Xiaohongshu's large model paper sharing session brought together authors from four major international conferences. For more information, please follow other related articles on the PHP Chinese website!