Java中 BufferedReader 怎么配合 StreamTokenizer 解析复杂的文本记号 Token-java教程-PHP中文网

BufferedReader 不参与 StreamTokenizer 的分词逻辑，仅提供高效缓冲的字符输入源；StreamTokenizer 才负责实际解析，其构造器要求 Reader 类型，故需 InputStreamReader 转码、BufferedReader 缓冲以减少 I/O 开销并支持 UTF-8 等编码。

java中 bufferedreader 怎么配合 streamtokenizer 解析复杂的文本记号 token

BufferedReader 本身不直接参与 StreamTokenizer 的记号解析，它只是为 StreamTokenizer 提供字符输入源；真正负责分词的是 StreamTokenizer，而 BufferedReader 起到高效、带缓冲的字符读取作用——这是配合的关键前提。

为什么用 BufferedReader 包装 InputStream 或 Reader？

StreamTokenizer 构造器只接受 Reader 类型参数，不能直接接 InputStream（如 FileInputStream）。若要读取文件或网络流，必须先用 InputStreamReader 转码，再套一层 BufferedReader 提升性能：

避免每次 nextToken() 都触发底层 I/O，BufferedReader 缓存整块数据，显著减少系统调用
支持按行预读、标记重置（mark/reset），便于实现回退逻辑（虽然 StreamTokenizer 自身不自动回退）
处理中文、UTF-8 等编码时，必须通过 InputStreamReader 指定 charset，BufferedReader 在其基础上缓冲

初始化 StreamTokenizer 的典型写法

正确链路是：FileInputStream → InputStreamReader → BufferedReader → StreamTokenizer：

try (FileInputStream fis = new FileInputStream("data.txt");
     InputStreamReader isr = new InputStreamReader(fis, StandardCharsets.UTF_8);
     BufferedReader br = new BufferedReader(isr);
     StreamTokenizer st = new StreamTokenizer(br)) {
<pre class="brush:php;toolbar:false;">st.resetSyntax();                    // 清空默认规则
st.wordChars('a', 'z');              // a-z 作为单词字符
st.wordChars('A', 'Z');
st.wordChars('0', '9');
st.whitespaceChars(0, ' ');          // 空格及以下视为分隔符
st.commentChar('#');                 // # 开始单行注释
st.quoteChar('"');                   // 双引号内为字符串字面量
st.ordinaryChar('/');                // / 不再是特殊符号（避免干扰）

int token;
while ((token = st.nextToken()) != StreamTokenizer.TT_EOF) {
    switch (token) {
        case StreamTokenizer.TT_WORD:
            System.out.println("WORD: " + st.sval);
            break;
        case StreamTokenizer.TT_NUMBER:
            System.out.println("NUMBER: " + st.nval);
            break;
        case '"':
            System.out.println("STRING: " + st.sval);
            break;
        default:
            System.out.println("OTHER: " + (char)token);
    }
}

}

Java Maven Code Review

审查Java Maven项目（ZIP压缩包或GitLab仓库URL），检查代码规范、命名、模块边界、可维护性问题以及重复代码。

下载

常见陷阱与应对建议

StreamTokenizer 行为隐含细节多，容易出错：

默认识别“.”为数字一部分，但不识别科学计数法：123.45 可读为 TT_NUMBER，但 1e5 会被拆成 WORD+OTHER。需手动扩展 parseNumber() 或改用 Scanner
换行符被当 whitespace 处理，但 st.lineno() 才反映真实行号：调用 st.lineno() 获取当前行号，而非靠自己计数
遇到错误字符（如未定义的符号）返回其 ASCII 值：比如 $ 返回 36，需提前用 ordinaryChar('$') 或 wordChars 设置行为
字符串中转义不自动处理：\" 或 \n 需自行在 st.sval 中解析，StreamTokenizer 只去掉首尾引号、保留原样