總結mydumper/myloader使用

 

mydumper安裝：

mydumper原理：

myloader原理：

 

一、mydumper備份

 

1、開啟16個備份進程，備份出所有的函式庫以及二進位日誌文件，到指定目錄 /docker/mydumper/all_backup下

mydumper -u root -p root123 --threads=16 -o /docker/mydumper/all_backup

這裡的--threads=16指定開啟16個備份執行緒數，這個可以在MySQL裡面show processlist看出來。

備份完成後，每個表格都會有兩個檔案:

一個是表格結構檔案database.table-schema.sql;

一個是表格資料檔案database .table.sql。

此外還有一次二進位日誌檔案metadata。

$ cat metadata

Started dump at: 2017-06-15 10:57:24

SHOW MASTER STATUS:

#    Log: mysql-bin.000025

    Pos: 681395159

卷-bef0-fa163e9e3c14:1-2663607

 

SHOW SLAVE STATUS:

    Host: 10.157.24.87

##    Host: 10.157.24.87

## 

#    Pos: 144635857

    Pos: 144635857

    GTID:6fbc72af-348e-11e7-865c-fa163e5807c3:1-22,

ad9b2529-3807c3:1-22,

ad9b2529-348621234621200212212123021221232123021230212302122123021230212321230212302123021230212302123021202123021230212302123021230212302123021230230 7

 

Finished dump at: 2017-06-15 10:58:50

 

註：如果沒有指定輸出的目錄：mydumper -u root - p root123

則預設自動產生export-20170615-105920目錄（export-年月日-時分秒）

 

#2、備份出所有的函式庫到指定資料夾下並壓縮備份檔案（這個備份壓縮過程會消耗過多的時間）

mydumper -u root -p root123 -c -o /docker/mydumper/all_backup_compress

會將表結構檔案和表格資料檔案都壓縮，二進位日誌檔案不變，如下，檔案大小從17G壓縮到了7.7G。

     root@dpsvstadbs05 11:20:02:mydumper$ du -sh *

     17G

  # 

    17G 7.7G

  all_backup_compress

 

3、備份出sampson庫所有表的表結構，不備份數據，到指定輸出的目錄/docker/ mydumper/sampson-d下

mydumper -u root -p root123 -B sampson -d -o /docker/mydumper/sampson-d

##則/docker/mydumper/sampson-d目錄下只有metadata和sampson.table-schema.sql檔。

 

4、備份出sampson庫所有表的數據，不備份表結構，到指定輸出的目錄/docker/mydumper/sampson-m 下

mydumper -u root -p root123 -B sampson -m -o /docker/mydumper/sampson-m

#則/docker/mydumper/sampson-m目錄下只有metadata和sampson.table.sql檔。

 

5、備份出sampson庫所有dsns和t1表到指定輸出的目錄/docker/mydumper/sampson-T下

mydumper -u root -p root123 -B sampson -T dsns,t1  -o /docker/mydumper/sampson-T

則/ docker/mydumper/sampson-T目錄下有metadata和sampson建庫檔案以及dsns和t1表的備份檔案。

 

附註：如果備份需要後台運行，可以加--daemon實作後台執行匯出指令。

 

二、myloader恢復

 

1、從全備的目錄還原sampson函式庫：

#myloader -u root -p root123 --threads=16 --database =sampson -d /docker/mydumper/all_backup

 

2、從只備份了表結構的目錄中還原sampson庫表結構到sampson-d庫中去：

myloader -u root -p root123 --database=sampson-d -d /docker/mydumper/sampson-d

 

3、從全備的資料夾中還原sampson庫到samp庫中去：

myloader -u root -p root123  --database=samp --source-db=sampson  -d /docker/mydumper/all_backup

# 

############## ####################### ######## #注意：建議備份還原的時候加參數-v 3，顯示詳細的日誌。 ###

root@dpsvstadbs05 12:13:35:mydumper$ myloader -u root -p root123 -d /docker/mydumper/all_backup --database=huihui --source-db=lizhi -v 3

# ** 訊息：已建立4 個執行緒

** 訊息：正在建立資料庫`huihui`

#** 訊息：正在建立表格`huihui`.`my1`

** 訊息: 建立表格`huihui`.`my2`

** 訊息: 建立表格`huihui`.`my3`

** 訊息: 建立表格`huihui`.` my4`

##** 訊息：正在建立表格`huihui`.`my5`

#** 訊息：正在建立表格`huihui`.`my6`

##** 訊息：正在建立表格`huihui` `.`my7`

** 訊息：正在建立表格`huihui`.`t1`

** 訊息：線程1 正在恢復`lizhi`. `my1` 第0 部分

** 訊息：線程3 正在恢復`lizhi`.`my2` 第0 部分

** 訊息：線程2 正在恢復`lizhi`.`my3 ` 第0 部分

** 訊息：線程4 恢復`lizhi`.`my4` 第0 部分

** 訊息：線程3 恢復`lizhi`.`my5` 第0 部分

** 訊息：線程1 恢復`lizhi` .`my6` 第0 部分

** 訊息：線程4 正在恢復`lizhi`。

** 訊息：線程2 正在恢復`lizhi`.`t1` 第0 部分

#** 訊息：線程2 正在關閉

** 訊息：線程1 正在關閉

** 訊息：執行緒4 正在關閉

##** 訊息：執行緒3 正在關閉

# 

附：

 

#mydumper 參數詳解

# 

$ mydumper --helpUsage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:  -?, --help                  Show help optionsApplication Options:  -B, --database              要备份的数据库，不指定则备份所有库
  -T, --tables-list           需要备份的表，名字用逗号隔开
  -o, --outputdir             备份文件输出的目录
  -s, --statement-size        生成的insert语句的字节数，默认1000000
  -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
  -F, --chunk-filesize        Split tables into chunks of this output file size. This value is in MB
  -c, --compress              Compress output files压缩输出文件
  -e, --build-empty-files     如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
  -x, --regex                 Regular expression for 'db.table' matching 使用正则表达式匹配'db.table'
  -i, --ignore-engines        Comma delimited list of storage engines to ignore忽略的存储引擎，用逗号分割
  -m, --no-schemas            Do not dump table schemas with the data不备份表结构，只备份数据
  -d, --no-data               Do not dump table data备份表结构，不备份数据
  -G, --triggers              Dump triggers备份触发器
  -E, --events                Dump events
  -R, --routines              Dump stored procedures and functions备份存储过程和函数
  -k, --no-locks              不使用临时共享只读锁，使用这个选项会造成数据不一致
  --less-locking              Minimize locking time on InnoDB tables.减少对InnoDB表的锁施加时间
  -l, --long-query-guard      设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
  -K, --kill-long-queries     Kill long running queries (instead of aborting)杀掉长查询 (不退出)
  -D, --daemon                Enable daemon mode启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备
  -I, --snapshot-interval     dump快照间隔时间，默认60s，需要在daemon模式下
  -L, --logfile               使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
  --tz-utc                    SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  --skip-tz-utc               
  --use-savepoints            使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
  --lock-all-tables           Use LOCK TABLE for all, instead of FTWRL
  -U, --updated-since         Use Update_time to dump only tables updated in the last U days
  --trx-consistency-only      Transactional consistency only
  -h, --host                  连接的主机名
  -u, --user                  用来备份的用户名
  -p, --password              用户密码
  -P, --port                  连接端口
  -S, --socket                使用socket通信时的socket文件
  -t, --threads               开启的备份线程数，默认是4
  -C, --compress-protocol     压缩与mysql通信的数据
  -V, --version               显示版本号
  -v, --verbose               输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

 

##myloader 參數詳解

# 

$ myloader --helpUsage:
  myloader [OPTION...] multi-threaded MySQL loader

Help Options:  -?, --help                        Show help optionsApplication Options:  -d, --directory                   Directory of the dump to import之前备份好的现在需要导入的文件夹
  -q, --queries-per-transaction     Number of queries per transaction, default 1000每次事物执行的查询数量，默认是1000
  -o, --overwrite-tables            Drop tables if they already exist如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
  -B, --database                    An alternative database to restore into还原到指定的数据库
  -s, --source-db                   Database to restore选择被还原的数据库，将这个数据库数据还原到--database指定的数据库里
  -e, --enable-binlog               Enable binary logging of the restore data启用还原数据的二进制日志
  -h, --host                        连接的主机名
  -u, --user                        用来备份的用户名
  -p, --password                    用户密码
  -P, --port                        连接端口
  -S, --socket                      使用socket通信时的socket文件
  -t, --threads                     开启的备份线程数，默认是4
  -C, --compress-protocol           压缩与mysql通信的数据
  -V, --version                     显示版本号
  -v, --verbose                     输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2

 

以上是總結mydumper/myloader使用的詳細內容。更多資訊請關注PHP中文網其他相關文章！