需将sharegpt jsonl按会话切分、哈希分片、注入显存元信息、配置vllm/sglang分片加载、添加动态batch字段，并生成带校验签名的完整性清单，确保多gpu推理负载均衡与数据一致。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您计划在多GPU环境中对大语言模型进行推理性能测试，并希望使用ShareGPT数据集作为标准输入负载，则需确保该数据集以适配分布式推理框架的方式完成结构化配置。以下是完成此项配置的具体步骤：
一、将ShareGPT原始JSONL转换为分片式结构化格式
多GPU推理服务（如vLLM、SGLang）在批量处理时依赖数据的均匀分发与并行加载能力。原始ShareGPT数据为单文件JSONL，无法直接支持跨GPU的负载均衡，因此必须将其切分为多个独立、等长的子文件，并添加全局唯一会话标识与轮次索引，以便各GPU进程可独立读取且不重复、不遗漏。
1、使用Python脚本读取原始ShareGPT_V3_unfiltered_cleaned_split.json文件，按对话会话（以"conversations"字段为单位）为最小粒度进行解析。
2、为每个会话生成唯一UUID作为session_id，并在每条conversations项中注入turn_index字段，从0开始递增标记用户与助手交替轮次。
3、将全部会话按哈希值（如hash(session_id) % N_GPUS）分配至N个输出文件，每个文件对应一个GPU逻辑槽位，命名为sharegpt_shard_0.jsonl至sharegpt_shard_N-1.jsonl。
4、验证各shard文件行数偏差不超过<strong><font color="green">±3%</font></strong>，确保后续DDP或Tensor Parallel模式下各GPU计算负载基本一致。
二、构建带显存感知的Prompt预填充模板
在多GPU推理中，不同卡间KV缓存需同步，而原始ShareGPT未标注上下文长度与预期输出长度，易导致某GPU因超长prompt触发OOM或fallback至CPU offload。因此需为每条样本预计算并嵌入显存占用元信息，供推理引擎动态调度。
1、调用目标模型的tokenizer（如LlamaTokenizerFast）对每条conversations中所有历史消息拼接后的完整context进行编码，统计input_ids长度。
2、对每个user消息后紧邻的assistant回复单独编码，记录其最大可能生成长度（取该回复字符数×1.8作为保守估计）。
3、在每条JSONL记录中新增字段："prefill_length": X、"max_gen_tokens": Y、"estimated_vram_mb": Z（Z由X+Y查表映射，例如A10卡上每2048 token约占用1.2GB显存）。
4、将含元信息的记录写入对应shard文件，确保<strong><font color="green">所有字段均为JSON序列化原生类型（int/str/bool），不含嵌套对象或函数</font></strong>。
三、配置vLLM/SGLang的多GPU数据加载器参数
vLLM与SGLang均支持基于文件路径与分片策略的数据流式供给，但默认不启用跨GPU协同预加载。需显式声明数据分片映射关系与并行I/O线程数，否则将出现单GPU读取全量数据再广播的瓶颈。
1、在vLLM启动命令中添加--dataset参数指向主目录，并通过--dataset-sharding指定per_gpu模式，使每个GPU仅加载对应shard文件。
2、设置--num-dataset-workers 4，为每个GPU分配独立的4线程I/O池，避免磁盘争抢；确认<strong><font color="green">文件系统挂载选项含noatime,async</font></strong>以降低元数据开销。
3、若使用SGLang，在benchmark_serving_structured_output.py中修改data_loader类，重载__iter__方法，使其根据torch.distributed.get_rank()自动选择本地shard路径，且跳过非本rank所属行。
4、启动前执行nvidia-smi -q -d MEMORY | grep "Used" | head -n {N_GPUS}，确认各GPU显存初始占用差异<strong><font color="green"></font></strong>，排除预加载污染。
四、注入动态Batch Size控制字段
固定batch size在多GPU场景下易造成资源浪费：短prompt卡空转，长prompt卡阻塞。ShareGPT数据需附加动态批处理提示，使推理引擎能依据实时显存余量合并请求，提升吞吐稳定性。
1、对每个shard文件中的每条记录，计算其prefill_length所属区间（如0–512、513–1024、1025–2048等），并写入"length_bucket"字段。
2、在vLLM配置中启用--enable-prefix-caching，并设置--max-num-batched-tokens为各bucket上限值的加权平均（权重为该bucket样本占比）。
3、向每条记录追加"priority_score"字段：值为1.0 / (prefill_length + max_gen_tokens + 1)，用于vLLM的priority_queue调度器优先服务高密度token请求。
4、验证所有length_bucket值在各shard中分布比例偏差<strong><font color="green">≤8%</font></strong>，防止某GPU长期处于低效bucket区间。
五、生成GPU级校验签名与完整性清单
分布式环境下，任一GPU加载错误数据将导致整个批次校验失败或指标异常。需为每个shard生成不可篡改的哈希摘要，并在推理启动时强制校验，杜绝静默数据损坏。
1、对每个sharegpt_shard_X.jsonl文件，逐行计算SHA256（不含换行符），再对全部行哈希值拼接后二次哈希，生成shard_X.sha256。
2、创建shard_manifest.json，包含字段："total_shards": N、"shard_size_lines": [L0,L1,...]、"shard_hashes": ["abc...", "def...", ...]。
3、在vLLM初始化阶段插入校验逻辑：读取本地shard文件前，先比对<strong><font color="green">当前GPU rank对应的shard_hash是否与manifest中一致</font></strong>，不一致则抛出RuntimeError并终止。
4、将shard_manifest.json与全部shard文件一同上传至共享存储（如NFSv4或Azure Blob mounted as POSIX FS），确保所有GPU节点访问同一版本。
