MySQL数据迁移到MSSQL-以小米数据库为例-测试828W最快可达到2分1_MySQL

雨雪姑娘_6079

雨雪姑娘_6079

2016-06-01

1417人浏览

原创

这里采用.net framework 4.0以上版本中新出现的 concurrentqueue 类

MSDN是这样描述的:

ConcurrentQueue类是一个线程安全的先进先出 (FIFO) 集合。

ConcurrentQueue的所有公共且受保护的成员都是线程安全的,可从多个线程同时使用。

共采用两个线程,一个读一个写。

ConcurrentQueue的实现方法:

(FIFO) 集合:

ConcurrentQueue<datatable> DataTableList = new ConcurrentQueue<datatable>();</datatable></datatable>

读:

 1 private void MainThread() 2 { 3 if (DataTableList.Count <p>写:</p><pre class="brush:php;toolbar:false;"> 1 private void Thread1(object state) 2 { 3 var dt = (DataTable)state; 4 MsSql.Insert(dt); 5 Console.WriteLine("Write {0}", DateTime.Now.ToString("HH:mm:ss.fff")); 6 OK_WORK_COUNT++;//已处理任务数+1 7 //从任务队列移除 8 if (DataTableList.Count > 0) 9 {10 DataTableList.TryDequeue(out dt);11 }12 }

读取MySQL数据库的方法很简单:

MySqlDataAdapter.Fill(DataTable dataTable)方法填充数据。

写入MSSQL数据库的方法也很简单:

SqlBulkCopy.WriteToServer(DataTable dataTable)方法批量插入数据。

经过多次测试,程序上的优化,基本到位了,但我知道肯定还有可以改进的地方,请各路大神不惜赐教。

主要性能瓶颈还是在I/O上,就拿我自己的例子来说吧:

本机上用HHD存放MySQL和MSSQL数据库,不管三七二之一,连同数据迁移程序也放在HHD。

一次读写5000条数据,单线程测试结果是:41分31秒。

DrugBank 数据库
DrugBank 数据库

访问并分析来自 DrugBank 数据库的全面药物信息,包括药物属性、相互作用、靶点、通路、化学结构和药理学数据。用于药物数据、药物发现研究、药理学研究、药物-

下载

本机上创建一个RAM DISK用来存放MySQL和MSSQL数据库,照旧,数据迁移程序也放在这里。

一次读写20W条数据,单线程测试结果:3分11秒

而改为ConcurrentQueue多线程同步线程安全后,一次读写20W条数据,多线程测试结果:2分11秒

如果读写数据不需要按顺序的话,完全可以抛弃掉ConcurrentQueue,从而获得更高的效率,更快的读写速度。

如果SqlBulkCopyOptions不设置为UseInternalTransaction (事务),又可以再快上一点点。

如果写入目标是Oracle数据库,和MSSQL相比,Oracle的平均写入速度比MSSQL要快上0.1~0.35秒。

当然,无论怎样,实际测试数据和我公布的测试数据是有差异的,毕竟使用环境不同。

这个测试结果并不专业,请各位多多见谅。

范例源码:https://gitcandy.com/Repository/Tree/MySQLToMSSQL-MultiThread-Queue-Safey

注释:

FIFO:“先进先出法”是一种排程算法。它描述了一个伫列所使用的先到先得服务方式:先进入伫列的工作将先被完成,之后进来的则必须稍候。

参见英文版维基百科:http://en.wikipedia.org/wiki/FIFO_(computing)

中文版维基百科太简洁了:http://zh.wikipedia.org/zh-cn/先进先出

HHD:全称Hard Disk Drive,详见:硬盘-百度百科

RAM Disk:详见:RAM驱动器-百度百科

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

数据库

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

0

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

160

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

120

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程