Home  >  Article  >  Backend Development  >  如何设计可离线工作的软件的同步功能

如何设计可离线工作的软件的同步功能

WBOY
WBOYOriginal
2016-06-06 20:38:181135browse

有很多软件在没有接入网络的情况下也可以运行,等到有网络时,会进行数据同步。这样在多个客户端间可以无缝所有。

典型代表:有道云笔记挖财记账本

目前,我使用php开发一款软件的服务端,软件提供网页版和客户端。在离线状态下,客户端主要功能也是可以使用的。

现在采用的方案是:
用C语言写了一个php的扩展,用于生成唯一int64值
需要同步的数据表,都添加了一个字段modify_num,存放唯一int64值,对数据记录进行增删改时,都改变modify_num。

客户端定时执行同步操作,每次同步包含2个原子操作:先是客户端给服务端自己最大的modify_num,服务端把大于该modify_num的数据都返回给客户端,简称为update;然后客户端处理完数据后,把客户端需要进行增删改的数据发送给服务端,服务端进行处理,简称为commit

补充:
1.为什么modify_num不直接使用时间戳,而是唯一数值:

我们没有直接采用时间戳是有原因的:操作时间间隔太短的时候,产生的时间戳会是相同的数值。如果不唯一会有这样的情况发生,在update时服务端返回了多条modify_num相同的数据给客户端,客户端每处理一条就修改自己的最大modify_num,万一客户端以为外因崩溃,多条数据没有处理完,下次启动时发送的最大modify_num给服务端,那么服务端返回的是大于这个值的数据,意味着那几条因为崩溃没有处理的数据都没有拿到。采用唯一数值就是为了避免这种情况发生。

2.关于冲突处理:

毕竟我们面对的是普通用户,不是程序员,不会像版本管理工具一样,有合并冲突的功能,冲突我们有自己的一套简单机制。基本原则是以modify_num大的优先,以最后操作优先。

大家有没有更好的方案或者有什么想法,都可以说说

回复内容:

有很多软件在没有接入网络的情况下也可以运行,等到有网络时,会进行数据同步。这样在多个客户端间可以无缝所有。

典型代表:有道云笔记挖财记账本

目前,我使用php开发一款软件的服务端,软件提供网页版和客户端。在离线状态下,客户端主要功能也是可以使用的。

现在采用的方案是:
用C语言写了一个php的扩展,用于生成唯一int64值
需要同步的数据表,都添加了一个字段modify_num,存放唯一int64值,对数据记录进行增删改时,都改变modify_num。

客户端定时执行同步操作,每次同步包含2个原子操作:先是客户端给服务端自己最大的modify_num,服务端把大于该modify_num的数据都返回给客户端,简称为update;然后客户端处理完数据后,把客户端需要进行增删改的数据发送给服务端,服务端进行处理,简称为commit

补充:
1.为什么modify_num不直接使用时间戳,而是唯一数值:

我们没有直接采用时间戳是有原因的:操作时间间隔太短的时候,产生的时间戳会是相同的数值。如果不唯一会有这样的情况发生,在update时服务端返回了多条modify_num相同的数据给客户端,客户端每处理一条就修改自己的最大modify_num,万一客户端以为外因崩溃,多条数据没有处理完,下次启动时发送的最大modify_num给服务端,那么服务端返回的是大于这个值的数据,意味着那几条因为崩溃没有处理的数据都没有拿到。采用唯一数值就是为了避免这种情况发生。

2.关于冲突处理:

毕竟我们面对的是普通用户,不是程序员,不会像版本管理工具一样,有合并冲突的功能,冲突我们有自己的一套简单机制。基本原则是以modify_num大的优先,以最后操作优先。

大家有没有更好的方案或者有什么想法,都可以说说

modify_num干脆改成last_modify比较直观,内容就是最后一次修改时间戳,这样同步的时候带上上次同步完的时间戳,服务器把上次同步之后所有更改发回。

两边都维护了一个num,冲突解决如何处理?
如果最初版本值为0,在网页端和离线客户端编辑,
同步时,服务器端和客户端的版本值都为1;
这就是涉及到冲突问题的解决,你说客户端先把大于
1的值更新,这时候服务器的值也是1,但是内容是变化了的;

可以考虑使用类似数据库的redo日志;
服务器和客户端数据修改前都记录日志(含精确的时间戳);
在客户端联网后,先将客户端离线期间的日志发送到服务器端,
服务器端按时间点插入日志(客户端服务端日志合并),redo日志;
然后,将数据同步到客户端;

应该参考git软件内部的实现,有冲突的时候分为可以自动合并和不可以自动合并

merge对于普通用户门槛太高 让用户选择一个版本基本就够了 其实最简单的方法就是让用户接受开机自启动 不知不觉完成同步,。,

Statement:
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn