c++如何从大型二进制文件中高效提取嵌入的JPEG图像【深度】

梦静酱_1249

梦静酱_1249

2026-04-12

781人浏览

原创

jpeg起始标记为0xffd8(soi),结束标记为0xffd9(eoi);需流式滑动缓冲区扫描并处理跨块边界,结合libjpeg增量解码验证合法性,避免仅靠字节匹配误判。

c++如何从大型二进制文件中高效提取嵌入的jpeg图像【深度】

如何定位JPEG起始与结束标记而不全量读取文件

大型二进制文件(如固件镜像、内存转储或封装容器)中嵌入JPEG,通常不带长度头、无对齐、甚至被截断。盲目 fread 整个文件到内存会触发OOM 或严重拖慢响应——1GB 文件加载进内存再扫描,纯属浪费。

必须流式扫描:用 fseek + 小缓冲区(如 64KB)滑动读取,每次只比对缓冲区边界附近的字节序列。关键不是“找0xFFD8”,而是处理跨块边界的情况:起始标记可能落在前一块末尾+后一块开头。

  • 每次读取前预留 2 字节重叠(即上一次读的最后 2 字节 + 新读的 buffer_size - 2 字节)
  • 扫描时检查所有位置是否满足 buffer[i] == 0xFF && buffer[i+1] == 0xD8,且 i+1
  • 发现 0xFFD8 后,不能立刻认定是JPEG起点——需结合上下文:前面是否为合法填充(如 0x00)、是否在已知数据段内(如 ELF 的 .data 节偏移范围内)

如何安全判定JPEG结束位置(避免误截或溢出)

仅靠匹配 0xFFD9 极不可靠:它可能是SOI之后的任意APPn段、EXIF中的字段值,甚至是图像数据里未转义的原始字节。真实JPEG结构含多个0xFF前缀标记(SOF, SOS, DHT…),其中只有0xFFD9(EOI)是唯一合法结尾,但前提是它出现在**非压缩数据流的末尾**,且前面没有未闭合的段。

推荐组合策略:

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 从 0xFFD8 开始,逐字节解析JPEG marker:遇到 0xFF 后读下一个字节,若为 0x00 则是转义(跳过);若为 0xD9,暂记为候选 EOI;若为 0xDA(SOS),则后续直到下一个 0xFF 前都是熵编码数据——此处必须启用“扫描模式”:一旦进入SOS段,就以字节流方式查找下一个 0xFF,并验证其后是否为 0x00(转义)、0xD9(EOI)或其它 marker(说明图像未结束)
  • 设置硬上限:从 SOI 起最多读取 100MB(可配),防止因损坏导致无限扫描
  • 记录每个疑似 EOI 的文件偏移,最终选择**最后一个能通过 JPEG 解码器(如 libjpeg 的 jpeg_consume_input)返回 JPEG_REACHED_EOI 的位置**——这是最准的验证

用 libjpeg-turbo 增量解码验证并提取,而非仅靠字节匹配

纯字节扫描只能给你“可能的JPEG区域”,但无法区分伪造标记、损坏图像或嵌入式缩略图(如 EXIF 中的 0xFFE1 APP1 段里的 JPEG)。真正可靠的提取必须走标准解码路径。

libjpeg-turbo 支持源数据回调(jpeg_mem_src / jpeg_fill_buffer),但对超大文件更应使用自定义 src_mgr,让 fill_input_buffer 按需从文件某段读取——这样既不加载全文,又能让解码器自己判断格式合法性。

  • 初始化 jpeg_decompress_struct 后,替换 cinfo.src 为自定义结构,其中 next_input_byte 指向当前待解码的内存块,bytes_in_buffer 设为该块长度
  • 当解码器调用 fill_input_buffer 且 bytes_in_buffer == 0 时,才从文件中读下一段(注意:需提前预读至少 2KB,避免频繁 syscall)
  • 若 jpeg_read_header 返回 JPEG_SUSPENDED,说明数据不足,继续喂;若返回 JPEG_HEADER_OK 再调 jpeg_start_decompress,最终看 jpeg_finish_decompress 是否成功——只有全程无错才算有效JPEG

绕过 mmap 的陷阱:为什么直接 mmap 大文件提取 JPEG 反而更慢

有人尝试 mmap 整个文件后用 memmem 扫描 0xFFD8,逻辑看似高效,实际在真实场景中常更慢甚至失败:

  • Linux 对 >128MB 的 mmap 区域默认启用 lazy allocation,首次访问页时才分配物理内存——表面没占 RAM,但扫描过程会触发大量 page fault,CPU 在缺页中断里忙得没空干活
  • SSD/NVMe 随机读性能远低于顺序读,而 memmem 是纯随机访存模式;相比之下,64KB 缓冲区顺序 read() 能被内核预读(readahead)优化
  • 32 位进程 mmap 超过 2GB 会失败;64 位虽无此限,但 mmap 占用的是虚拟地址空间,频繁映射/解除映射易碎片化,影响后续大内存分配
  • 更隐蔽的问题:某些固件镜像含加密校验段,mmap 后若未按协议跳过这些区域,解码器可能把校验值误认为 JPEG 数据,报 Invalid JPEG file structure

真正省资源的做法是:用 open(O_RDONLY) + 小缓冲区 + 精确偏移跳转,把磁盘 IO 控制在最低粒度——毕竟你只关心几KB到几MB的有效图像,不是整个镜像。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

4190

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3553

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2773

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6790

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

6442

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3713

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

3205

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3439

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习