Microsoft melancarkan teknologi XOT untuk meningkatkan keupayaan penaakulan model bahasa

Berita 15 November, Microsoft baru-baru ini melancarkan kaedah yang dipanggil "Everything of Thought" (XOT), yang diilhamkan oleh AlphaZero Google DeepMind, menggunakan rangkaian saraf padat untuk meningkatkan keupayaan penaakulan model AI.

Microsoft bekerjasama dengan Institut Teknologi Georgia dan Universiti Normal China Timur untuk membangunkan algoritma ini, yang mengintegrasikan pembelajaran pengukuhan (pembelajaran pengukuhan) dan Monte Carlo Tree Search (MCTS) keupayaan kompleks persekitaran membuat keputusan untuk meningkatkan lagi keberkesanan penyelesaian masalah.

Nota dari tapak ini: Pasukan penyelidik Microsoft menyatakan bahawa kaedah XOT boleh mengembangkan model bahasa pada masalah yang tidak dikenali, dan mempunyai peningkatan yang jelas dalam ujian ketat Game of 24, 8-Puzzle dan Pocket Cube. Keputusan menunjukkan bahawa XOT adalah jauh lebih baik daripada kaedah lain dan juga menyelesaikan masalah di mana kaedah lain gagal. Walau bagaimanapun, XOT tidak mencapai 100% kebolehpercayaan

Rangka kerja XOT merangkumi langkah utama berikut:

• Fasa pra-latihan: Modul MCTS dilatih terlebih dahulu mengenai tugas-tugas khusus untuk mempelajari pengetahuan domain tentang carian pemikiran yang berkesan. Dasar ringan dan carian berpandukan rangkaian nilai. Carian Idea: Semasa inferens, modul MCTS yang telah dilatih menggunakan rangkaian dasar/nilai untuk meneroka dan menjana trajektori idea LLM dengan cekap.
• Pembetulan Fikiran: LLM menyemak idea MCTS dan mengenal pasti sebarang ralat. Idea untuk pembetulan dijana melalui simulasi MCTS tambahan.
• Penaakulan LLM: Petua terakhir untuk memberikan idea yang disemak kepada LLM untuk menyelesaikan masalah.

Laman web ini melampirkan kertas [PDF] alamat di sini, pengguna yang berminat boleh membacanya secara mendalam.

Atas ialah kandungan terperinci Microsoft melancarkan teknologi XOT untuk meningkatkan keupayaan penaakulan model bahasa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!