首页  >  文章  >  后端开发  >  javascript - 分多次提交数据到接口,如何保证数据的完整性和缓解插入压力?

javascript - 分多次提交数据到接口,如何保证数据的完整性和缓解插入压力?

WBOY
WBOY原创
2016-08-04 09:19:341008浏览

使用ajax按日期采集文章数据,每天的文章数量不一定。少的几篇,多的几千篇或者上万。
一次提交是不能将一天的数据一次性提交到服务端的。
1、假设,提交1000篇文章,分成10次提交,每次100篇(约80k),如何保证最终服务端将这1000文章保存到了数据库(不能重复)?
2、如果同一时间有多个客户端提交数据,如何缓解数据库的插入压力呢?

回复内容:

使用ajax按日期采集文章数据,每天的文章数量不一定。少的几篇,多的几千篇或者上万。
一次提交是不能将一天的数据一次性提交到服务端的。
1、假设,提交1000篇文章,分成10次提交,每次100篇(约80k),如何保证最终服务端将这1000文章保存到了数据库(不能重复)?
2、如果同一时间有多个客户端提交数据,如何缓解数据库的插入压力呢?

可以先给所有的文章ID 然后服务器通过这批文章ID去核对 没那么严谨可以只给需要更新的总数 然后服务器更新完验证是否总的已经更新完了

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn