stringtokenizer用于按分隔符拆分字符串，支持自定义分隔符和逐个读取词元，适用于csv、日志等简单文本解析，相比split更省内存且处理空白更自然，但不支持正则和空值返回。
在Java中，StringTokenizer 是一个用于将字符串拆分为多个“词元”（token）的工具类，位于 java.util 包中。它适用于简单的字符串解析场景，比如按指定分隔符分割文本内容。
StringTokenizer的基本用法
创建 StringTokenizer 对象时，传入要解析的字符串和可选的分隔符。默认分隔符是空白字符（空格、制表符、换行等）。
常用构造方法：
- StringTokenizer(String str)：使用默认分隔符（空白字符）拆分字符串
- StringTokenizer(String str, String delim)：使用自定义分隔符拆分
- StringTokenizer(String str, String delim, boolean returnDelims)：第三个参数决定是否返回分隔符本身作为词元
示例代码：
import java.util.StringTokenizer;
public class TokenExample {
public static void main(String[] args) {
String input = "apple,banana,orange";
StringTokenizer tokenizer = new StringTokenizer(input, ",");
while (tokenizer.hasMoreTokens()) {
System.out.println(tokenizer.nextToken());
}
}
}
输出结果：
applebanana
orange
StringTokenizer在分词与解析中的作用
StringTokenizer 主要用于简单格式的文本解析，例如CSV数据、日志行、命令参数等。它的核心功能包括：
Miller CSV TSV JSON 数据处理器
下载
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
- 逐个读取词元，避免一次性将字符串全部拆分到数组中，节省内存
- 支持多种分隔符组合，如 ",;|" 表示逗号、分号或竖线都可作为分隔符
- 通过 hasMoreTokens() 和 nextToken() 实现迭代式处理，逻辑清晰
注意：StringTokenizer 不支持正则表达式，也不处理连续分隔符之间的空值（即不会返回空字符串）。如果需要更强大功能，应考虑使用 String.split() 或 Scanner 类。
常见应用场景举例
假设有一行用户输入：用户名:年龄:城市，使用冒号分隔：
String data = "Tom:25:Beijing";
StringTokenizer st = new StringTokenizer(data, ":");
String name = st.nextToken();
int age = Integer.parseInt(st.nextToken());
String city = st.nextToken();
System.out.println("姓名：" + name + "，年龄：" + age + "，城市：" + city);
这种结构化提取方式适合固定格式的短文本解析。
与split方法的对比
相比 String.split()，StringTokenizer 的优势在于：
- 更节省内存：按需获取 token，不生成数组
- 更灵活控制：可设置是否返回分隔符
- 对空白处理更自然：自动忽略多余空白（除非显式指定）
但 split 更适合复杂分隔规则（支持正则），且返回数组便于流式处理。
基本上就这些。StringTokenizer 虽然较老，但在简单分词任务中依然实用，尤其适合逐个处理输入流中的字段。不复杂但容易忽略细节，比如分隔符定义和空值处理。
Java免费学习笔记：立即使用
解锁 Java 大师之旅：从入门到精通的终极指南
