日常对话和图文问答应选指令模型;量化指令模型还需确认推理框架与硬件支持;预训练基础模型适合后续训练研究。加载前要核对具体仓库、运行依赖、资源预算及许可证,不能把每次激活的参数量直接当作整套权重的显存需求。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Hy4 flash、FP8 与 base 分别适合什么任务?
Tencent 官方模型卡列出三种开放权重:Hy4 flash 是指令模型,Hy4 flash-FP8 是 FP8 量化指令模型,Hy4 flash-base 是预训练基础模型。需要照着聊天或推理示例接入时,适用范围是前两种;base 没有经过同样的指令微调,不能因为名称相近就当作开箱即用的聊天模型。
已有部署计划且框架支持对应量化格式时,可以评估 FP8 版本。选择它不等于已经证明在目标设备上更快、显存够用或效果不变;这些结论需要自己的硬件、任务和配置验证。base 的用途应围绕预训练模型的继续训练与研究来判断。

下列指令版示例所参照的仓库文档固定在提交 d88c9dfd96ba4f2e6b92adba0b8e8f1c8696f959。这个提交标识用于定位资料,不代表独立的软件发行版本号。
这次可确认的时间信息是官方 Hugging Face 仓库于2026年11月17日创建及权重分发记录,不能据此推定模型在全球所有渠道的首次发布时间。模型卡还列有 ModelScope、GitCode 分发入口,具体获取时应核对仓库名和模型文件。
220B、12B 和 1M 应该怎样理解?
官方介绍称模型总参数约220B,其中包含约64B的 Engram 参数,每个 token 激活约12B参数;原生接收文本和图片、输出文本,支持最长1M上下文。模型规格表把1M写为1,048,576 tokens。这些都是官方资料口径,实际部署效果需在目标环境验证。
激活参数量描述计算路径,不代表加载时只需保存12B权重。权重格式、框架、并行方式及上下文缓存都会影响实际资源需求;支持最长上下文也不等于任意设备都能直接承载该长度。官方服务端示例使用八路张量并行,这是一组示例配置,不能反推任意单卡都能运行,也不能仅凭这一项断定最低硬件。
安装依赖前,先确认示例对应哪套环境
所核验模型卡当时说明 Transformers 支持尚待合入主分支,安装示例指向拉取请求50903的开发引用。不能假定任意已安装的正式发行版已经支持该模型。下面保留官方命令,供具备对应计算资源的独立 Python 环境评估;运行它会安装开发代码及相关依赖,开发引用也可能继续变化,生产环境应另行锁定经过验证的提交与依赖。
pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"
该命令的用途是安装模型卡指定的 Transformers 实现及 torch、vision 相关依赖,不负责下载并完成模型推理。若出现无法识别模型架构的问题,首先应检查实际安装来源是否与模型卡要求一致,而不是直接把仓库换成 base。
怎样阅读官方图文加载示例?
下面是模型卡给出的 Hy4 flash 图文示例,适用于准备好兼容运行环境与充足资源后的加载验证。它使用处理器构造对话模板,读取示例图片,再请求一句话描述;模型和处理器加载可能下载大体积文件,设备自动分配也不能替代资源评估。这是一段官方用法示例,不能据此认定本地推理已经成功。
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "tencent/Hy4-flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
},
{"type": "text", "text": "Describe this image in one sentence."},
],
}
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
reasoning_effort="no_think",
).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True))
示例中 reasoning_effort="no_think" 表示直接回答;官方对指令模型还支持 "high",且其为默认思考模式。max_new_tokens=256 控制本次最多新增的 token 数,并不把模型上下文改成256。正常完成后,最后一行打印生成的图片描述;具体文字会随生成过程变化,不能把某句示例答案视为固定输出。
官方另推荐 temperature=0.9、top_p=1.0,但上面这段原始 Transformers 示例没有显式传入这两个采样值。它们不能与思考模式或上下文长度混为一谈。出现资源不足时,应回到硬件预算、量化支持和部署配置评估,不能据此认定某种降参方案一定可用。
开放权重是否意味着使用 Apache 2.0?
许可证名称是 Tencent Hy License, Version 1.0。其说明虽以 Apache License 2.0 为基础,但另有商业条款,并明确表示本许可证不是 Apache License 2.0。模型可获取权重,不代表所有商业使用都没有附加条件。
第10节将 MaaS 定义为向第三方提供模型推理或微调的远程访问,使其能够提交输入、指定参数或训练数据。它排除能力仅限特定功能或工作流、不给通用模型访问的终端产品,也排除仅转发至独立第三方模型服务的请求。
按该节原文,经营 MaaS 业务且任一连续12个月全球总收入超过5,000万美元时,不论收入是否来自该模型,都须在使用或继续使用前取得单独书面许可;另一种触发情况是在任一自然月月活用户超过1亿的自有产品或服务中使用该模型或衍生作品之前。仅内部使用且模型、衍生作品及其输出均不向第三方提供时,第10.2节不适用。对外服务计划需要按完整条款判断具体业务,不能把内部使用例外简化成所有企业均可无条件使用。











