如何在SQL中通过LEN或LENGTH函数过滤掉长度异常的脏数据?

老敏姑娘_2133

老敏姑娘_2133

2026-06-20

539人浏览

原创

sql server用len(),mysql/postgresql用length();len()忽略尾部空格,length()统计所有字符;跨库需按数据库类型选函数,且注意字节长度与字符长度区别。

如何在sql中通过len或length函数过滤掉长度异常的脏数据?

SQL里用LEN还是LENGTH?先看数据库类型

不同数据库对字符串长度函数的命名和行为不一致,硬套会报错。SQL Server 用 LEN(),MySQL / PostgreSQL / Oracle 用 LENGTH(),而且 LEN() 在 SQL Server 中默认忽略尾部空格,LENGTH() 则统计所有字符(包括空格)。

  • 如果你在 MySQL 或 PostgreSQL 里写 LEN(name),直接报错:Unknown function 'LEN'
  • 如果你在 SQL Server 里写 LENGTH(name),同样报错:Invalid column name 'LENGTH'
  • 更隐蔽的问题:SQL Server 的 LEN('abc ') 返回 3,而 DATALENGTH('abc ') 才返回 6 —— 如果你本意是校验字段总字节数(比如防止超长 UTF-8 编码),就得换用 DATALENGTH()

过滤手机号、身份证号这类固定长度字段

这类字段长度异常基本等于数据错误,适合用 WHERE + 长度函数直接筛掉。但要注意空值和不可见字符干扰。

  • NULL 值传给 LEN() 或 LENGTH() 都返回 NULL,而 NULL != 11,所以 WHERE LENGTH(phone) != 11 会漏掉空值;必须显式加 IS NULL 判断
  • 实际数据可能含空格、短横线、括号,比如 '138-1234-5678' 或 ' (138) 12345678 ',直接算长度没意义,得先清洗
  • 推荐写法(以 MySQL 为例):
    WHERE LENGTH(TRIM(REPLACE(REPLACE(phone, '-', ''), ' ', ''))) != 11
  • SQL Server 用户注意:TRIM() 在 2016+ 才支持,旧版本得用 RTRIM(LTRIM(...))

处理变长字段时,别只设“上限”,要结合业务定“合理区间”

比如用户昵称,限制 2–20 字符比单纯 LENGTH(nickname) 更靠谱:

女娲.skill
女娲.skill

女娲.skill是一款AI开发辅助工具,独立开发者花叔开源的 SKill 项目。

下载
  • LENGTH(nickname) = 0 很可能是导入时字段为空或全空格,该剔除
  • LENGTH(nickname) = 1 可能是误填的单个标点(如 '.')或控制字符,建议结合正则进一步判断(MySQL 8.0+ 支持 REGEXP_LIKE(nickname, '^[a-zA-Z0-9\u4e00-\u9fa5]{2,20}$'))
  • PostgreSQL 用户可直接用 ~ 操作符:
    WHERE nickname !~ '^[a-zA-Z0-9\u4e00-\u9fa5]{2,20}$'
  • 注意:UTF-8 下中文字符占 3 字节,LENGTH() 返回的是字节数,不是字符数;PostgreSQL 的 CHAR_LENGTH() 或 MySQL 的 CHAR_LENGTH() 才对应“几个汉字”,别混用

性能敏感场景下,避免在 WHERE 中对字段反复计算

如果表有千万级数据,每次查询都算 LENGTH(content) 可能拖慢执行计划,尤其当该字段没索引时。

  • 不要写 WHERE LENGTH(content) > 1000 AND LENGTH(content) —— 算两次
  • 改成一次计算:
    WHERE LENGTH(content) BETWEEN 1001 AND 4999
  • 更彻底的优化:建生成列(MySQL 5.7+/PostgreSQL 12+)或计算列(SQL Server),再在上面建索引。例如 SQL Server:
    ALTER TABLE logs ADD content_len AS LEN(content) PERSISTED;<br>CREATE INDEX IX_logs_content_len ON logs(content_len);
  • 注意 PERSISTED 是关键,否则索引无法建立在计算列表达式上

真正麻烦的不是函数名选错,而是没意识到「长度」本身在不同上下文里指代不同东西:字节?字符?可视字符?是否含 BOM?这些细节一旦忽略,过滤出来的“干净数据”可能照样进不了下游系统。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

数据清洗

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3843

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

811

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

989

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5641

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2603

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5640

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7401

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1010

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

892

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.3万人学习