NVIDIA 在日本和台湾推出用于生成式 AI 的 NIM 微服务

Alvin Lang Aug 27, 2024 02:52 NVIDIA 推出 NIM 微服务以支持日本和台湾的生成式 AI，增强区域语言模型和本地 AI 应用。

NVIDIA 在日本和台湾推出了针对生成式 AI 应用的 NIM 微服务，旨在支持区域语言模型并支持本地化生成式 AI 应用的开发。

周六在 NVIDIA 博客文章中宣布，新的微服务旨在帮助开发人员构建和部署对当地语言和文化细微差别敏感的生成式 AI 应用程序。微服务支持流行的社区模型，通过改善基于区域语言和文化遗产的理解和响应来增强用户交互。

根据 ABI Research 的数据，到 2030 年，亚太地区的生成式 AI 软件收入预计将从 2024 年的 50 亿美元增至 480 亿美元。NVIDIA 的新微服务预计将在这一增长中发挥重要作用，为人工智能开发.

新产品包括 Llama-3-Swallow-70B 和 Llama-3-Taiwan-70B 模型，分别使用日语和普通话数据进行训练。这些模型旨在让您更深入地了解当地法律、法规和习俗。

RakutenAI 7B 系列模型基于 Mistral-7B 构建，接受了英语和日语数据集的训练，并可作为聊天和指导功能的 NIM 微服务使用。这些模型在 2024 年 1 月至 3 月的 LM Evaluation Harness 基准测试中在开放日语大语言模型中取得了领先的平均分数。

日本和台湾的多个组织已经在使用 NVIDIA 的 NIM 微服务来开发和部署生成式 AI 应用程序。

例如，东京工业大学使用日语数据对 Llama-3-Swallow 70B 模型进行了微调。日本人工智能公司 Preferred Networks 正在使用该模型开发基于日本医疗数据训练的医疗保健专用人工智能，并在日本国家医师考试中取得最高分。

在台湾，长庚纪念医院正在构建定制的人工智能推理服务，以在医院系统内集中托管法学硕士应用程序，使用 Llama-3-Taiwan 70B 模型来改善医疗沟通。台湾电子制造商和硕正在内部和外部应用中采用该模型，并将其与其 PEAAi Agentic AI 系统集成，以提高制造和运营效率。

开发人员现在可以将这些主权 AI 模型打包为 NIM 微服务，大规模部署到生产中，同时提高性能。 NVIDIA AI Enterprise 提供的微服务针对 NVIDIA TensorRT-LLM 开源库的推理进行了优化，吞吐量提高了 5 倍，并降低了生产中运行模型的总成本。

新的 NIM 微服务现已作为托管应用程序编程接口 (API) 提供。

要了解有关 NVIDIA NIM 如何加速生成 AI 结果的更多信息，请访问此处的产品页面。

LLM 等生成式 AI 模型因其执行各种任务（包括生成文本、代码、图像和视频）的能力而广受欢迎。然而，部署这些模型可能具有挑战性，特别是对于需要快速、准确结果的组织而言。

为了满足这一需求，NVIDIA 提供了一系列解决方案，包括 NVIDIA AI Enterprise 软件平台和 NVIDIA AI Registry，为生成式 AI 模型提供安全性、性能优化和集中管理。

借助这些解决方案，组织可以快速高效地部署模型，确保其应用程序的最佳性能和可靠性。

以上是NVIDIA 在日本和台湾推出用于生成式 AI 的 NIM 微服务的详细内容。更多信息请关注PHP中文网其他相关文章！