NVIDIA mendedahkan versi baharu TensorRT-LLM: keupayaan inferens meningkat sebanyak 5 kali ganda, sesuai untuk operasi tempatan pada kad grafik melebihi 8GB, dan menyokong API Sembang OpenAI

Berita 16 November, persidangan Microsoft Ignite 2023 bermula hari ini, para eksekutif Nvidia telah menghadiri persidangan tersebut dan mengumumkan kemas kini kepada TensorRT-LLM, Tambahan sokongan untuk OpenAI Chat API#🎜🎜 #.

NVIDIA mengeluarkan perpustakaan sumber terbuka Tensor RT-LLM pada Oktober tahun ini, bertujuan untuk menyediakan sokongan untuk pusat data dan PC Windows. Ciri terbesar perpustakaan sumber terbuka ini ialah apabila Windows PC dilengkapi dengan GPU GeForce RTX NVIDIA, TensorRT-LLM boleh meningkatkan kelajuan berjalan LLM pada Windows PC sebanyak empat kali 🎜#

Pada persidangan Ignite 2023 hari ini. Nvidia mengumumkan kemas kini kepada TensorRT-LLM, menambah sokongan untuk OpenAI's Chat API, meningkatkan fungsi DirectML dan meningkatkan prestasi model AI seperti Llama 2 dan Stable Diffusion.

TensorRT-LLM boleh dilakukan secara tempatan menggunakan AI Workbench NVIDIA. Pembangun boleh memanfaatkan kit alat bersatu dan mudah digunakan ini untuk mencipta, menguji dan menyesuaikan model AI generatif dan LLM pra-latihan dengan cepat pada PC atau stesen kerja. NVIDIA juga telah melancarkan halaman pendaftaran akses awal untuk

NVIDIA ini akan mengeluarkan kemas kini versi TensorRT-LLM 0.6.0 akhir bulan ini, yang akan meningkatkan prestasi inferens sebanyak 5 kali ganda dan menyokong Mistral 7B dan Nemotron- 3 8B dan LLM arus perdana yang lain.

Pengguna boleh menggunakan GPU siri GeForce RTX 30 dan 40 siri dengan memori video 8GB dan ke atas, dan sesetengah peranti Windows mudah alih juga boleh menggunakan fungsi LLM asli yang pantas dan tepat

Atas ialah kandungan terperinci NVIDIA mendedahkan versi baharu TensorRT-LLM: keupayaan inferens meningkat sebanyak 5 kali ganda, sesuai untuk operasi tempatan pada kad grafik melebihi 8GB, dan menyokong API Sembang OpenAI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!