C++物联网网关怎么在断网时将采集到的遥测数据本地离线持久化

夜静姑娘_9874

夜静姑娘_9874

2026-10-20

168人浏览

原创

必须用sqlite wal模式+显式事务控制,否则断电瞬间大概率丢最后几条数据;因环形缓冲区纯内存,断电即丢失,而wal模式通过预写日志和原子提交保障掉电安全,配合begin immediate/commit批量写入与云端确认后删除,确保数据不丢。

c++物联网网关怎么在断网时将采集到的遥测数据本地离线持久化

必须用 SQLite WAL 模式 + 显式事务控制,否则断电瞬间大概率丢最后几条数据。

为什么不能只靠内存环形缓冲区

环形缓冲区(Ring Buffer)写入快、无锁,但它是纯内存结构。一旦网关进程崩溃、设备断电或看门狗复位,里面所有未落盘的数据就彻底消失。你在雷雨天丢掉的那 30% 数据,几乎全发生在这里——MQTT 发布失败后没及时转存,而是等“下一轮重试”,结果断网 6 小时,缓冲区早已被新数据覆盖。
真实工业现场不接受“理论上能扛住突发流量”这种说法,它只认“掉电后重启,SQLite 文件里还剩多少条”。

SQLite WAL 模式是唯一靠谱的选择

普通 SQLite 的 DELETE/INSERT 在主数据库文件上直接操作,写入过程中若断电,文件极易损坏;而 WAL(Write-Ahead Logging)模式把变更先写进 wal 文件,主文件保持只读,只有在显式 COMMIT 时才原子合并。这意味着:
• 即使进程中途 kill -9 或断电,WAL 文件内容仍可被下次打开时自动回放
• PRAGMA synchronous = NORMAL + PRAGMA journal_mode = WAL 是最低安全底线
• 必须手动控制事务:每批写入(比如 50 条)包裹在 BEGIN IMMEDIATE / COMMIT 中,不能依赖 autocommit

常见错误写法:
• 用 std::ofstream 直接写 JSON 文件——没事务、没 fsync、没崩溃恢复能力
• 开启 WAL 但没设 synchronous = NORMAL,性能掉一半还未必更安全
• 把所有采集点塞进一张大表,没建 CREATE INDEX ... ON timestamp,补传时查 10 万条要 3 秒

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载

数据表结构和写入节奏怎么配

别一上来就设计“通用遥测表”。工业现场数据有强模式:每个设备 ID、每个寄存器地址、每个时间戳都是确定的。推荐按设备+协议维度分表,例如:
• 表名:modbus_192_168_1_10(IP 地址脱点)
• 字段:id INTEGER PRIMARY KEY AUTOINCREMENT, ts INTEGER NOT NULL, reg_addr INTEGER, value REAL, quality TINYINT
• 写入节奏:
- 采集线程每 100ms 收一条,攒够 20 条再批量 INSERT INTO ... VALUES (...), (...), ...
- 每次批量写入前调用 sqlite3_exec(db, "BEGIN IMMEDIATE", ...)
- 批量完成后立刻 sqlite3_exec(db, "COMMIT", ...)
- 避免单条 INSERT,否则 WAL 日志膨胀快、I/O 次数爆炸

补传成功后怎么安全删数据

补传不是“发完就删”。必须等云端返回明确确认(比如 HTTP 200 + 含 "ack_id": "xxx" 的 JSON),再执行 DELETE FROM modbus_192_168_1_10 WHERE id 。关键点:<br>• 删除语句也必须包在事务里,和补传日志记录(如写入 <code>acked_log 表)一起提交
• 绝对不要用 DELETE FROM ... WHERE ts ——设备本地时钟漂移时会误删<br>• 建议加一个 <code>status TINYINT DEFAULT 0 字段,0=待发,1=已发未确认,2=已确认,删之前先查状态

最容易被忽略的是 WAL 文件残留:SQLite 不会自动清理已提交的 WAL,得靠 PRAGMA wal_checkpoint(TRUNCATE) 主动触发。建议在每次补传完成且删除旧数据后调用一次,防止 SD 卡空间悄悄涨满。

C++免费学习笔记(深入):立即使用
在学习笔记中,你将探索 C++ 的入门与实战技巧!

相关专题

更多
c++和c语言的区别有哪些
c++和c语言的区别有哪些

c++和c语言的区别:1、面向对象编程(OOP)支持不同;2、新增特性不同;3、标准库不同;4、编译方式不同;5、命名空间不同等等。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.14

2248

9

c++和python学习顺序推荐
c++和python学习顺序推荐

一般建议先学习C++,再学习Python,因为这样可以逐步从较为底层的编程语言向更高级的语言过渡。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

1019

6

python和c++学习性价比分析
python和c++学习性价比分析

Python易于学习,广泛应用于Web开发、数据科学和人工智能等领域,但性能较低。C语言性能高,适用于对性能要求较高的场景,如游戏开发和系统编程,但学习曲线陡峭,错误处理复杂。想了解更多python的相关内容,可以阅读本专题下面的文章。

2024.03.14

447

5

c语言和c++一样吗
c语言和c++一样吗

c语言和c++是两种不同的编程语言,虽然有相似之处,但存在显著差异。c语言专注于过程式编程和系统级开发,以简洁、高效著称。c++作为c语言的超集,引入了面向对象编程,增强了代码组织和管理能力,但学习曲线也更陡峭。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

327

5

c语言和c++先学哪个好
c语言和c++先学哪个好

初学者选择学习c语言还是c++语言,需要根据个人学习目标、背景以及编程兴趣和预期应用方向来决定。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

406

5

c语言和c++的区别和联系
c语言和c++的区别和联系

c语言和c++是计算机科学领域应用广泛的编程语言。虽然它们有着相似的基础,但它们在语言类型、语法功能和内存管理方面存在着显著差异。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.03.14

580

5

c++软件中文更改教程
c++软件中文更改教程

对于 ide,可通过打开设置,找到语言设置,选择中文,并保存更改。对于非 ide 应用程序,可查找设置或选项,选择语言设置,更改为中文,并保存更改。想了解更多c++的相关内容,可以阅读本专题下面的文章。

2024.03.21

1409

9

python和java和c++学习性价比分析
python和java和c++学习性价比分析

Python以其易学性、丰富的库和活跃的社区而著称,适合数据科学、人工智能和Web开发。Java以其跨平台性、企业级应用开发和Android应用开发而闻名。C++以其底层控制能力、高效性能和游戏开发而著称。选择哪种语言取决于个人兴趣、职业方向和特定需求。想了解更多python和java和c++的相关内容,可以阅读本专题下面的文章。

2024.03.22

1217

7

c++和c语言学习顺序推荐
c++和c语言学习顺序推荐

对于初学者,建议先学习C语言,掌握编程基础后再转入C++,便于理解面向对象编程概念。有编程经验者可直接学习C++,快速接触高级编程技术。想了解更多c++和c语言的相关内容,可以阅读本专题下面的文章。

2024.03.25

1325

9

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习