Hy4 flash、FP8 与 base 如何选择,加载前要核对什么?

星浩小哥_8038

星浩小哥_8038

2026-11-18

458人浏览

原创

日常对话和图文问答应选指令模型;量化指令模型还需确认推理框架与硬件支持;预训练基础模型适合后续训练研究。加载前要核对具体仓库、运行依赖、资源预算及许可证,不能把每次激活的参数量直接当作整套权重的显存需求。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Tencent Hy 官方品牌封面

Hy4 flash、FP8 与 base 分别适合什么任务?

Tencent 官方模型卡列出三种开放权重:Hy4 flash 是指令模型,Hy4 flash-FP8 是 FP8 量化指令模型,Hy4 flash-base 是预训练基础模型。需要照着聊天或推理示例接入时,适用范围是前两种;base 没有经过同样的指令微调,不能因为名称相近就当作开箱即用的聊天模型。

已有部署计划且框架支持对应量化格式时,可以评估 FP8 版本。选择它不等于已经证明在目标设备上更快、显存够用或效果不变;这些结论需要自己的硬件、任务和配置验证。base 的用途应围绕预训练模型的继续训练与研究来判断。

Hy4 flash 官方模型卡中的三种权重用途与适用范围

下列指令版示例所参照的仓库文档固定在提交 d88c9dfd96ba4f2e6b92adba0b8e8f1c8696f959。这个提交标识用于定位资料,不代表独立的软件发行版本号。

这次可确认的时间信息是官方 Hugging Face 仓库于2026年11月17日创建及权重分发记录,不能据此推定模型在全球所有渠道的首次发布时间。模型卡还列有 ModelScope、GitCode 分发入口,具体获取时应核对仓库名和模型文件。

220B、12B 和 1M 应该怎样理解?

官方介绍称模型总参数约220B,其中包含约64B的 Engram 参数,每个 token 激活约12B参数;原生接收文本和图片、输出文本,支持最长1M上下文。模型规格表把1M写为1,048,576 tokens。这些都是官方资料口径,实际部署效果需在目标环境验证。

激活参数量描述计算路径,不代表加载时只需保存12B权重。权重格式、框架、并行方式及上下文缓存都会影响实际资源需求;支持最长上下文也不等于任意设备都能直接承载该长度。官方服务端示例使用八路张量并行,这是一组示例配置,不能反推任意单卡都能运行,也不能仅凭这一项断定最低硬件。

安装依赖前,先确认示例对应哪套环境

所核验模型卡当时说明 Transformers 支持尚待合入主分支,安装示例指向拉取请求50903的开发引用。不能假定任意已安装的正式发行版已经支持该模型。下面保留官方命令,供具备对应计算资源的独立 Python 环境评估;运行它会安装开发代码及相关依赖,开发引用也可能继续变化,生产环境应另行锁定经过验证的提交与依赖。

Loom
Loom

一款AI开发辅助工具,主要用于AI录屏协作工具,适合需要提升相关任务效率的用户。

下载
pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"

该命令的用途是安装模型卡指定的 Transformers 实现及 torch、vision 相关依赖,不负责下载并完成模型推理。若出现无法识别模型架构的问题,首先应检查实际安装来源是否与模型卡要求一致,而不是直接把仓库换成 base。

怎样阅读官方图文加载示例?

下面是模型卡给出的 Hy4 flash 图文示例,适用于准备好兼容运行环境与充足资源后的加载验证。它使用处理器构造对话模板,读取示例图片,再请求一句话描述;模型和处理器加载可能下载大体积文件,设备自动分配也不能替代资源评估。这是一段官方用法示例,不能据此认定本地推理已经成功。

from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "tencent/Hy4-flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
            },
            {"type": "text", "text": "Describe this image in one sentence."},
        ],
    }
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="no_think",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True))

示例中 reasoning_effort="no_think" 表示直接回答;官方对指令模型还支持 "high",且其为默认思考模式。max_new_tokens=256 控制本次最多新增的 token 数,并不把模型上下文改成256。正常完成后,最后一行打印生成的图片描述;具体文字会随生成过程变化,不能把某句示例答案视为固定输出。

官方另推荐 temperature=0.9、top_p=1.0,但上面这段原始 Transformers 示例没有显式传入这两个采样值。它们不能与思考模式或上下文长度混为一谈。出现资源不足时,应回到硬件预算、量化支持和部署配置评估,不能据此认定某种降参方案一定可用。

开放权重是否意味着使用 Apache 2.0?

许可证名称是 Tencent Hy License, Version 1.0。其说明虽以 Apache License 2.0 为基础,但另有商业条款,并明确表示本许可证不是 Apache License 2.0。模型可获取权重,不代表所有商业使用都没有附加条件。

第10节将 MaaS 定义为向第三方提供模型推理或微调的远程访问,使其能够提交输入、指定参数或训练数据。它排除能力仅限特定功能或工作流、不给通用模型访问的终端产品,也排除仅转发至独立第三方模型服务的请求。

按该节原文,经营 MaaS 业务且任一连续12个月全球总收入超过5,000万美元时,不论收入是否来自该模型,都须在使用或继续使用前取得单独书面许可;另一种触发情况是在任一自然月月活用户超过1亿的自有产品或服务中使用该模型或衍生作品之前。仅内部使用且模型、衍生作品及其输出均不向第三方提供时,第10.2节不适用。对外服务计划需要按完整条款判断具体业务,不能把内部使用例外简化成所有企业均可无条件使用。

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

0

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

160

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

120

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习