mysql中md5()函数生成32位小写十六进制哈希值，用于校验或去重；需处理null、空白字符及字符集一致性，推荐用coalesce和trim标准化输入，并通过生成列+索引优化查询性能。
MD5函数在MySQL中生成字符串哈希的典型用法
MySQL的MD5()函数接收任意长度字符串，返回32位小写十六进制字符串（如"5d41402abc4b2a76b9719d911017c592"），适合做轻量级数据指纹。它不加密、不可逆，仅用于校验或去重场景。
注意：MD5()对NULL输入返回NULL，不是空字符串；对空字符串''才返回固定值"d41d8cd98f00b204e9800998ecf8427e"。实际使用前务必确认字段是否允许为NULL，否则GROUP BY MD5(col)会把所有NULL聚成一组，误判为“重复”。
- 推荐显式处理空值：
MD5(COALESCE(col, '')) - 若字段含换行、制表符等空白字符，先用
TRIM()或REPLACE()标准化 -
MD5()输入自动转为UTF-8字符串，但若列是latin1且存了非ASCII字节，结果可能与预期不符——建议统一用utf8mb4字符集
用MD5快速定位重复记录的SQL写法
直接对原始字段计算MD5并分组，比多字段GROUP BY更简洁，尤其适用于组合字段去重（如CONCAT(first_name, last_name, email)）。
例如查用户表中“姓名+邮箱”组合重复项：
SELECT MD5(CONCAT(COALESCE(name, ''), '|', COALESCE(email, ''))) AS fingerprint, COUNT(*) AS cnt, GROUP_CONCAT(id) AS ids FROM users GROUP BY fingerprint HAVING cnt > 1;
这里用'|'作分隔符是为了避免name='ab' + email='c'和name='a' + email='bc'哈希碰撞（虽概率极低，但可读性与确定性更重要）。
- 不要省略
COALESCE：否则CONCAT('a', NULL, 'b')结果是NULL，全部被归为同一组 - 避免在
WHERE里用MD5(col) = ?做查询——无法走索引，应建生成列索引（见下一条） - 若表很大，先加
LIMIT测试，避免全表扫描+哈希计算拖慢响应
给MD5结果建索引提升重复排查效率
频繁按指纹查重复时，每次执行MD5()都是实时计算，开销大。MySQL 5.7+ 支持生成列（generated column），可持久化存储哈希值并建索引。
添加指纹列并建索引示例：
ALTER TABLE users
ADD COLUMN fingerprint CHAR(32)
AS (MD5(CONCAT(COALESCE(name, ''), '|', COALESCE(email, '')))) STORED,
ADD INDEX idx_fingerprint (fingerprint);
此后查重复可直接走索引：
SELECT fingerprint, COUNT(*) FROM users GROUP BY fingerprint HAVING COUNT(*) > 1;
-
STORED表示值物理存储，VIRTUAL则每次读取都重算（不适合高频查询） - 生成列表达式必须是确定性的，
MD5()符合要求，但NOW()、RAND()等不行 - 索引大小约32字节/行，比联合索引更省空间，但需额外存储成本——权衡点在于查询频次与数据量
MD5指纹排查的局限性和替代建议
MD5()不是银弹。32位哈希存在理论碰撞可能（尽管实践中极难触发），且无法反推原始内容，调试时若发现重复指纹，仍需回查原始字段确认是否真重复。
更严谨的场景建议：
- 关键业务去重，优先用
SHA2(col, 256)（返回64位字符串），抗碰撞性更强 - 需要支持模糊匹配（如姓名同音、邮箱别名），MD5完全无能为力，得上NLP或规则引擎
- 超大数据量（亿级），单次
GROUP BY MD5()易OOM，应分批加WHERE id BETWEEN ? AND ?处理
真正容易被忽略的是字符集隐式转换——比如name列是utf8mb4_bin，但连接客户端设了latin1，MD5()算出来就不是你看到的字符串的哈希。查重复前，先SELECT CHARSET(col), COLLATION(col)核对清楚。
