C#实现一个tail服务 C#如何通过Web API实时推送文件追加内容

落丽吖_9378

落丽吖_9378

2026-02-18

204人浏览

原创

c#实现一个tail服务 c#如何通过web api实时推送文件追加内容

为什么不能直接用 FileStream 长轮询读取日志文件

因为 FileStream 默认不支持“等待新内容到达”,Read() 在文件末尾会立即返回 0 字节,而非阻塞等待。若用循环 Seek() + Read() 轮询,CPU 占用高、延迟不可控,且容易漏掉瞬间写入的多行内容(比如 Log4net 一次刷盘写入几行)。

真正可行的方式是监听文件变化 + 增量读取,核心依赖:FileSystemWatcher 捕获 Changed 事件(注意:它只通知“文件被修改”,不告诉改了哪几行),再配合偏移量管理做安全续读。

  • FileSystemWatcher 的 NotifyFilter 必须包含 NotifyFilters.LastWrite,仅监听 FileName 或 Attributes 会丢事件
  • Windows 上对大文件(>1GB)或高频写入(如每毫秒一行),Changed 事件可能合并或丢失,需加防抖(例如延迟 100ms 后再触发读取)
  • 不能在事件回调里直接调用 File.OpenText() —— 文件可能正被写入进程独占锁定,应重试 + IOException 捕获

如何用 IAsyncEnumerable 实现流式响应

ASP.NET Core 6+ 的 Web API 支持直接返回 IAsyncEnumerable,客户端用 text/event-stream(SSE)接收,服务端按行 yield 新内容,无需手动管理连接生命周期。

关键点在于:每次 yield 前必须确认当前读取位置未被截断(日志轮转常见),所以得先用 FileInfo.Length 校验,再从上次偏移处开始读取新增字节,最后按 \n 或 \r\n 切分有效行。

  • 响应头必须显式设置:Response.Headers.Add("Content-Type", "text/event-stream");
  • 每行数据要包装成 SSE 格式:yield return $"data: {line.TrimEnd()}\n\n";(注意双换行)
  • 避免 StreamReader.ReadLineAsync() 直接读 —— 它内部缓冲可能导致“读到一半就 yield”,应改用 Stream.ReadAsync() + 自己解析行边界
  • 客户端断连时,cancellationToken 会触发,需及时清理 FileSystemWatcher 和文件句柄

FileSystemWatcher 和文件锁冲突怎么破

典型报错:System.IO.IOException: The process cannot access the file because it is being used by another process. —— 这是因为日志文件正被 NLog/Log4net 独占打开(FileShare.None),而你的 FileStream 试图以 FileAccess.Read 打开失败。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载

解法只有两个:一是降级为共享读(FileShare.ReadWrite),二是退化为“无锁轮询”作为兜底。生产环境建议组合使用:

  • 优先尝试 new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.ReadWrite, 4096, FileOptions.SequentialScan)
  • 若抛 IOException,启动后台定时任务(如 Task.Run(() => PollLoopAsync())),每 500ms 检查 FileInfo.Length 是否增长,仅当增长时才尝试打开(仍带重试)
  • 永远不要用 Thread.Sleep() 阻塞主线程;所有等待必须用 await Task.Delay() + cancellationToken

客户端如何稳定接收 SSE 并处理断连

浏览器原生 EventSource 会在连接中断后自动重连(默认 3s),但重连时无法携带上次读取偏移,所以服务端必须支持“从某行号/字节位置恢复”。简单方案是让客户端在 URL 中传参,如 /api/tail?path=/var/log/app.log&offset=12345。

更健壮的做法是服务端生成唯一 tailId,首次连接返回该 ID,后续断连重连时带上,服务端查内存字典恢复上下文(注意:跨实例部署需用 Redis 存储偏移)。

  • 客户端示例:const es = new EventSource("/api/tail?path=C%3A%5Clogs%5Capp.log"); es.onmessage = e => console.log(e.data);
  • 服务端需校验 path 参数是否在白名单内(如只允许 C:\logs\ 下的文件),防止路径遍历攻击
  • 单个连接最大持续时间建议设限(如 30 分钟),超时后返回 event: timeout\ndata:\n\n 并关闭,避免长连接堆积

最易被忽略的是编码问题:日志文件可能是 UTF-8 with BOM、GBK 或 UTF-16,StreamReader 默认用 UTF-8 但不检测 BOM,导致首行乱码。务必用 new StreamReader(stream, Encoding.Default) 或先读前 3 字节判断 BOM 再选编码。

大量免费API接口:立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游,为数据API应用能力赋能!

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c#

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.02

6919

3

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2338

7

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

6387

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2668

6

length函数用法
length函数用法

length函数用于返回指定字符串的字符数或字节数。可以用于计算字符串的长度,以便在查询和处理字符串数据时进行操作和判断。 需要注意的是length函数计算的是字符串的字符数,而不是字节数。对于多字节字符集,一个字符可能由多个字节组成。因此,length函数在计算字符串长度时会将多字节字符作为一个字符来计算。更多关于length函数的用法,大家可以阅读本专题下面的文章。

2023.09.19

1927

6

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

2023.08.10

4518

6

Java 并发编程高级实践
Java 并发编程高级实践

本专题深入讲解 Java 在高并发开发中的核心技术,涵盖线程模型、Thread 与 Runnable、Lock 与 synchronized、原子类、并发容器、线程池(Executor 框架)、阻塞队列、并发工具类(CountDownLatch、Semaphore)、以及高并发系统设计中的关键策略。通过实战案例帮助学习者全面掌握构建高性能并发应用的工程能力。

2025.12.01

563

16

console接口是干嘛的
console接口是干嘛的

console接口是一种用于在计算机命令行或浏览器开发工具中输出信息的工具,提供了一种简单的方式来记录和查看应用程序的输出结果和调试信息。本专题为大家提供console接口相关的各种文章、以及下载和课程。

2023.08.08

896

5

console.log是什么
console.log是什么

console.log 是 javascript 函数,用于在浏览器控制台中输出信息,便于调试和故障排除。想了解更多console.log的相关内容,可以阅读本专题下面的文章。

2024.05.29

6663

7

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程