8月13日,据aichatdaily消息,google deepmind今日正式推出手语转文字翻译模型sl2t。该模型已集成至pixel 11系列手机的gboard输入法及live transcribe应用中,成为首个登陆主流消费级设备的手语ai系统。
SL2T支持在设备本地实时将美国手语(ASL)转化为英文文本,使听障用户能在任意需文字输入的场景下,直接通过手语与智能手机完成交互。在FLEURS-ASL基准测试中,该模型取得70分的BLEURT零样本评分,DeepMind指出,这一成绩远超此前所有公开报道的同类模型表现。
该模型训练所用数据总量逾10万小时,覆盖全球50余种手语体系,其中约25%为美国手语(ASL)语料。DeepMind强调,采用多语言、多方言及不同手语熟练度水平的数据联合训练策略,使其在内部对比实验中明显优于单语种训练版本。现阶段率先实现ASL到英文的端到端翻译,后续对更多手语种类及终端设备的支持正持续推进中。
在Gboard中,用户可直接用手语发起网页搜索、编写短信,或将指令交由Gemini处理;在Live Transcribe中,则能以手语实时回应对话内容,替代传统键盘输入方式。DeepMind将此项能力视为向听障用户提供与健听人群语音输入体验相匹配的无障碍交互新范式。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜












