Linux中函数封装怎么封装数据表增量导出函数-linux运维-PHP中文网

linux中封装数据表增量导出函数，核心是将“识别新增/变更数据”“安全连接数据库”“分批导出”“结果格式化”四环节打包成可复用、可传参、可审计的shell函数，支持时间字段与主键两种增量模式，校验参数、防sql注入、统一字符集、分批导出并记录断点。

linux中函数封装怎么封装数据表增量导出函数

Linux中封装数据表增量导出函数，核心是把“识别新增/变更数据”“安全连接数据库”“分批导出”“结果格式化”四个环节打包成可复用、可传参、可审计的 shell 函数。不依赖外部脚本，也不硬编码密码或路径，重点解决生产环境常见的权限、大表、字符集、断点续导等问题。

明确增量依据并支持灵活传参

增量导出必须有可靠位点，常见方式包括：

基于时间字段（如 create_time 或 update_time），需用户指定起止时间或偏移量
基于自增主键（如 id），需传入上次导出的最大值（--last-id）
基于 binlog 位点（适合配合 Xtrabackup 或 mysqlbinlog 工具，函数内一般不直接处理，但可预留接口）

函数应支持至少两种模式切换，并校验必要参数：

mysql_incremental_export() {
  local db="" table="" field="" since="" until="" last_id="" output_dir="/tmp"
  local user="root" host="localhost" use_table=0
<p>while [[ $# -gt 0 ]]; do
case $1 in
-d) db="$2"; shift 2 ;;
-t) table="$2"; shift 2 ;;
--time-field) field="$2"; shift 2 ;;
--since) since="$2"; shift 2 ;;
--until) until="$2"; shift 2 ;;
--last-id) last_id="$2"; shift 2 ;;
--output) output_dir="$2"; shift 2 ;;
--table) use_table=1; shift ;;
*) echo "Unknown option: $1"; return 1 ;;
esac
done</p><p>if [[ -z "$db" || -z "$table" ]]; then
echo "Error: -d DATABASE and -t TABLE are required" >&2; return 1
fi</p><p>if [[ -n "$since" && -n "$last_id" ]]; then
echo "Error: cannot specify both --since and --last-id" >&2; return 1
fi
}</p>

构造安全、可读的导出命令

避免明文密码暴露，优先使用 mysql_config_editor 配置登录路径；若必须传密，用 -p 交互式输入而非 -ppasswd；导出时强制指定字符集防止乱码：

用 --default-character-set=utf8mb4 统一编码
用 --fields-terminated-by='\t' 或 --fields-enclosed-by='\"' 控制 CSV 格式
对时间范围导出，SQL 中用 STR_TO_DATE() 或直接拼接字符串（注意 SQL 注入风险，建议用变量校验）
对主键范围导出，SQL 中写成 WHERE id > $last_id ORDER BY id LIMIT 10000

示例片段：

local sql=""
if [[ -n "$since" ]]; then
  sql="SELECT * FROM \`${table}\` WHERE \`${field}\` >= '$since'"
  [[ -n "$until" ]] && sql="$sql AND \`${field}\`  $last_id ORDER BY id LIMIT 10000"
else
  echo "Error: either --since or --last-id must be provided" >&2; return 1
fi
<p>local cmd="mysql -u$user -h$host -D$db --default-character-set=utf8mb4 -N -s"
[[ $use_table -eq 1 ]] && cmd="$cmd --table"</p><h1>导出到文件，带时间戳防覆盖</h1><p>local outfile="${output<em>dir}/${table}</em>$(date +%Y%m%d_%H%M%S).csv"
eval "$cmd -e \"$sql\"" | sed '/^$/d' > "$outfile"
echo "Exported to: $outfile"</p>

支持分批导出与断点记录

单次导出不宜过大，尤其面对千万级以上表。函数可内置循环逻辑，每次取固定行数，并自动更新 last_id 到文件：

Linux installer

先解析安全源，运行本地CLI安装、启动、卸载Linux桌面应用。用户请求时使用。

下载

用 SELECT MAX(id) 获取本次导出最大值
将该值追加写入 ${table}.lastid 文件供下次调用读取
加 sleep 0.1 防止密集查询压垮库
导出前检查磁盘空间（df -B1M $output_dir | awk 'NR==2 {print $4}'）

例如分页逻辑节选：

local current_id=$last_id
while true; do
  local batch_sql="SELECT id, * FROM \`${table}\` WHERE id > $current_id ORDER BY id LIMIT 5000"
  local result=$(eval "$cmd -e \"$batch_sql\"" 2>/dev/null)
<p>if [[ -z "$result" ]]; then break; fi</p><h1>提取本批最大 id</h1><p>current_id=$(echo "$result" | tail -n1 | cut -f1)</p><h1>追加写入文件</h1><p>echo "$result" | tail -n +1 >> "$outfile"
echo "Batch done, last id: $current_id"
sleep 0.1
done</p><p>echo "$current_id" > "${output_dir}/${table}.lastid"</p>