干货分享：SQLSERVER使用裸设备

干货分享：SQLSERVER使用裸设备 这篇文章也适合ORACLE DBA和MYSQL DBA 阅读 裸设备适用于Linux和Windows 在ORACLE和MYSQL里也是支持裸设备的！！ 介绍 大家看到这个标题一定是一头雾水吧，裸设备？？裸体的设备？？太邪恶了o(_)o 裸设备：有人叫 raw disk ，

干货分享：SQLSERVER使用裸设备

这篇文章也适合ORACLE DBA和MYSQL DBA 阅读

裸设备适用于Linux和Windows

在ORACLE和MYSQL里也是支持裸设备的！！

 

介绍

大家看到这个标题一定是一头雾水吧，裸设备？？裸体的设备？？太邪恶了o(∩_∩)o 

裸设备：有人叫raw disk，也有人叫raw device

百度一下：

http://baike.baidu.com/link?url=ran4ytgFFrsCmAywsOLa0uQczn8rxsEwWXF5WjdTNLx3Sv9Ng2Y1ScJsLT8k7CO7G1gOsiuq3EILSVhbYsgsSa

裸设备(raw device)，也叫裸分区（原始分区），是一种没有经过格式化，不被Unix通过文件系统来读取的特殊字符设备。

它由应用程序负责对它进行读写操作。不经过文件系统的缓冲。

它是不被操作系统直接管理的设备。

这种设备少了操作系统这一层，I/O效率更高。不少数据库都能通过使用裸设备作为存储介质来提高I/O效率。

因为使用裸设备避免了再经过操作系统这一层，数据直接从Disk到数据库进行传输，所以使用裸设备对于读写频繁的数据库应用来说，可以极大地提高数据库系统的性能。

当然，这是以磁盘的 I/O 非常大，磁盘I/O已经称为系统瓶颈的情况下才成立。

如果磁盘读写确实非常频繁，以至于磁盘读写成为系统瓶颈的情况成立，那么采用裸设备确实可以大大提高性能

 

 

在宋沄剑的文章里《SQL Server数据库损坏、检测以及简单的修复办法》

在这个过程中，数据脏页由内存写入持久化的IO子系统，在此期间，按照IO子系统的不同，数据可能经过这几层：

Windows(写数据一定调用的是WINDOWS API)
Windows底层的中间层（杀毒软件，磁盘加密系统）

RAID控制器（IO子系统做了RAID）
磁盘或SSD等持久化存储器

 

其实如果使用了裸设备，数据是不需要经过I/O子系统的，直接写入到文件中

---

 根据MSDN说一下裸设备在SQLSERVER的限制

Using Raw Partitions

SQLSERVER2000支持数据库创建在使用raw格式的分区。raw格式分区是一种没有格式化的文件系统，就像FAT文件系统和NTFS文件系统。

在某些情况下，数据库创建在raw格式的分区能产生重要的性能提升相对于NTFS或FAT文件系统。

然而，大多数情况下，还是建议使用NTFS或FAT分区来存放数据库文件

当你把数据库创建在raw分区下的时候，你不能指定数据库数据文件的物理名字；你只能够指定数据库数据文件要存放的那个磁盘的驱动器号

如果你使用Windows2000服务器版，你可以挂载一个使用raw文件格式的驱动器。当你在一个空文件夹挂载一个本地驱动器的时候，

Windows2000会分配一个磁盘路径，这样会比只分配一个驱动器号好。

挂载驱动器不受26个盘符的限制（分区超过26个就不能再建立分区了），因此，你可以使用不受数量限制的raw分区。

 

下面有几个限制是需要考虑的，当使用raw分区的时候

（1）每一个raw分区只能有一个数据库数据文件。

（2）标准的文件操作，例如：复制文件，移动文件，删除文件都不能在raw分区使用

（3）放在raw分区的数据库文件都不能直接使用备份软件备份，例如Acronis.True.Image.Echo.Enterprise.Server这些都不能用

但是SQLSERVER的完整数据库备份、差异备份、日志备份，这些SQLSERVER的备份功能是可以正常使用的

（4）存放在raw分区上的数据文件都不能自动增长的。最好在创建数据库文件的时候就指定数据库文件的大小为raw分区的大小

或者当数据库数据文件大小不够再进数据的时候手动设置数据文件或日志文件的大小

<span>CREATE</span> <span>DATABASE</span> <span>[</span><span>test</span><span>]</span> 
<span>ON</span> <span>PRIMARY</span><span> 
( NAME </span><span>=</span> N<span>'</span><span>test</span><span>'</span>, FILENAME <span>=</span> N<span>'</span><span>f:</span><span>'</span>,SIZE <span>=</span> 9024MB  )

 

<span>ALTER</span> <span>DATABASE</span> <span>[</span><span>sss</span><span>]</span> MODIFY <span>FILE</span>(name<span>=</span>SSS_Data,size<span>=</span><span>2048</span>)

<span>ALTER</span> <span>DATABASE</span> <span>[</span><span>sss</span><span>]</span> MODIFY <span>FILE</span>(name<span>=</span>SSS_Log,size<span>=</span><span>2048</span>)

 

（5）一些文件系统服务，例如坏块替换，磁盘整理是不能用的，对于raw分区

---

实验

实验环境：Windows2003 ;SQLSERVER2008R2

实际上，在Windows下裸设备实质就是没有格式化的分区

先在虚拟机添加一个硬盘，大小是10GB

进行初始化

初始化之后不能格式化

新建一个简单卷，记得不要格式化，分配一个盘符号就可以了

 

 

F盘是打不开的

--------------------------------------------------------------------------------------------------------------

创建数据库

<span>CREATE</span> <span>DATABASE</span> <span>[</span><span>test</span><span>]</span> 
<span>ON</span> <span>PRIMARY</span><span> 
( NAME </span><span>=</span> N<span>'</span><span>test</span><span>'</span>, FILENAME <span>=</span> N<span>'</span><span>F:</span><span>'</span>,SIZE <span>=</span><span> 9024MB  )
</span><span>LOG</span> <span>ON</span><span> 
( NAME </span><span>=</span> N<span>'</span><span>test_log</span><span>'</span>, FILENAME <span>=</span> N<span>'</span><span>E:\test_log.ldf</span><span>'</span> ,SIZE <span>=</span> 2048000KB , FILEGROWTH <span>=</span> <span>10</span><span>%</span><span>) 
</span><span>GO</span>

创建数据库的时候要注意

（1）每一个raw分区只能有一个数据库数据文件。
（4）存放在raw分区上的数据文件都不能自动增长的。最好在创建数据库文件的时候就指定数据库文件的大小为raw分区的大小

 

 如果你指定了物理路径，那么就会报错

消息 <span>5133</span>，级别 <span>16</span>，状态 <span>1</span>，第 <span>3</span><span> 行
对文件 "F:\test.mdf" 的目录查找失败，出现操作系统错误 </span><span>1005</span><span>(此卷不包含可识别的文件系统。  请确定所有请求的文件系统驱动程序已加载，且此卷未损坏。)。
消息 </span><span>1802</span>，级别 <span>16</span>，状态 <span>1</span>，第 <span>3</span><span> 行
</span><span>CREATE</span> <span>DATABASE</span> 失败。无法创建列出的某些文件名。请查看相关错误。

 

 

---

测试

新建测试表

<span>--</span><span>建测试表</span>
<span>USE</span><span> test
</span><span>GO</span>
<span>CREATE</span> <span>TABLE</span><span> testperf
    (
      id </span><span>INT</span> <span>IDENTITY</span>(<span>1</span>, <span>1</span><span>)
             </span><span>PRIMARY</span> <span>KEY</span><span> ,
      NAME </span><span>NVARCHAR</span>(<span>200</span><span>) ,
      timeon </span><span>DATETIME</span><span>
    )</span>

 

 

插入测试

<span>--</span><span>插入数据</span>
<span>INSERT</span> <span>INTO</span><span> testperf
</span><span>SELECT</span> <span>'</span><span>你好</span><span>'</span>,<span>GETDATE</span>()

 

查询测试

<span>--</span><span>查询数据</span>
<span>SELECT</span> <span>*</span> <span>FROM</span> testperf

 

 -------------------------------------------------------------------------------------------------------

新建一个数据库进行对比

下面这个数据库是建在E盘，分区格式是NTFS

<span>CREATE</span> <span>DATABASE</span> <span>[</span><span>testa</span><span>]</span> 
<span>ON</span> <span>PRIMARY</span><span> 
( NAME </span><span>=</span> N<span>'</span><span>testa</span><span>'</span>, FILENAME <span>=</span> N<span>'</span><span>E:\testa.Mdf</span><span>'</span>,SIZE <span>=</span><span> 9024MB  )
</span><span>LOG</span> <span>ON</span><span> 
( NAME </span><span>=</span> N<span>'</span><span>testa_log</span><span>'</span>, FILENAME <span>=</span> N<span>'</span><span>E:\testa_log.ldf</span><span>'</span> ,SIZE <span>=</span> 2048000KB , FILEGROWTH <span>=</span> <span>10</span><span>%</span><span>) 
</span><span>GO</span>

 

建测试表

<span>--</span><span>建测试表</span>
<span>USE</span><span> testa
</span><span>GO</span>
<span>CREATE</span> <span>TABLE</span><span> testperf
    (
      id </span><span>INT</span> <span>IDENTITY</span>(<span>1</span>, <span>1</span><span>)
             </span><span>PRIMARY</span> <span>KEY</span><span> ,
      NAME </span><span>NVARCHAR</span>(<span>200</span><span>) ,
      timeon </span><span>DATETIME</span><span>
    )</span>

插入测试

 

查询测试

 

结论：可以看出使用裸设备速度上会比有文件系统的快一些，当然数据量比较少，测试机器配置不是很给力，上面的测试结果也只作为参考！！

---

使用裸设备的数据库备份

使用裸设备的数据库是可以正常备份的

使用下面的备份语句

<span>BACKUP</span> <span>DATABASE</span> <span>[</span><span>test</span><span>]</span> <span>TO</span>  <span>DISK</span> <span>=</span> N<span>'</span><span>E:\test_fullbackup2014-4-10.bak</span><span>'</span> <span>WITH</span><span> NOFORMAT, NOINIT,  
NAME </span><span>=</span> N<span>'</span><span>test-完整 数据库 备份</span><span>'</span>, SKIP, NOREWIND, NOUNLOAD,  STATS <span>=</span> <span>10</span><span>, CHECKSUM
</span><span>GO</span>

当然你也可以使用图形界面来备份数据库

 

数据库还原，当你使用图形界面来还原数据库的时候，你会发现还原不了数据库，报错

将数据库文件还原为窗口那里一般会显示将数据库中相应的数据文件还原到的物理路径，但是因为裸设备是没有物理路径的

那么是不是使用裸设备的数据库就不能还原呢？？？

 

实际上，要还原数据库只能使用SQL语句来还原，而不能使用图形界面

<span>RESTORE</span> <span>DATABASE</span>  <span>[</span><span>test</span><span>]</span>
<span>FROM</span>  <span>DISK</span> <span>=</span> N<span>'</span><span>E:\test_fullbackup2014-4-10.bak</span><span>'</span>  <span>WITH</span>  <span>FILE</span> <span>=</span> <span>1</span><span>, 
NOUNLOAD,  STATS </span><span>=</span> <span>10</span>
<span>GO</span>

已处理百分之 <span>13</span><span>。
已处理百分之 </span><span>22</span><span>。
已处理百分之 </span><span>31</span><span>。
已处理百分之 </span><span>40</span><span>。
已处理百分之 </span><span>54</span><span>。
已处理百分之 </span><span>63</span><span>。
已处理百分之 </span><span>72</span><span>。
已处理百分之 </span><span>81</span><span>。
已处理百分之 </span><span>90</span><span>。
已处理百分之 </span><span>100</span><span>。
已为数据库 </span><span>'</span><span>test</span><span>'</span>，文件 <span>'</span><span>test</span><span>'</span> (位于文件 <span>1</span> 上)处理了 <span>176</span><span> 页。
已为数据库 </span><span>'</span><span>test</span><span>'</span>，文件 <span>'</span><span>test_log</span><span>'</span> (位于文件 <span>1</span> 上)处理了 <span>2</span><span> 页。
</span><span>RESTORE</span> <span>DATABASE</span> 成功处理了 <span>178</span> 页，花费 <span>37.497</span> 秒(<span>0.037</span> MB<span>/</span>秒)。

View Code

 

---

总结

因为raw分区是不能够打开的，所以运维团队需要监控住在裸设备上的数据库数据文件是否不够空间，以免发生数据插入失败的情况

 

这篇文章简单介绍了一下裸设备，以及数据库使用裸设备带来的性能提升的简单测试

 

最后说一句：无论是使用文件系统也好，裸设备也好，珍爱生命，记得备份！

 

Faster way to read the raw data on disk/drive

Read raw data from Hard disk

MS SQL 2005 或者2008 支持裸设备吗?

ORACLE下使用raw disk

对写操作频繁的数据ORACLE使用裸设备来提高I/O

什么叫做裸设备

两个机器通过裸设备映射RDM共享的仲裁盘，msdtc盘还有数据盘

 

如有不对的地方，欢迎大家拍砖o(∩_∩)o