出事之后要在十分钟内看懂一份几万行的日志,装一套 ELK 往往来不及:一台 2 GB 的测试机装不下 ES + Logstash + Kibana,而订单日志里有用户 ID 和金额,也不方便上传到第三方。grep ERROR 能告诉你这里有 3000 个错误,却不会告诉你这 3000 个里有 1669 个是连接池耗尽、集中在两分钟内。(原文有删节)
作者的做法是本地聚合、只把摘要和样本送出去:日志在本机解析、分类与计数,出网的只有「错误类型统计 + 最多 5 条样本」,每条截断 200 字符,合计约 900 字符。日志量涨到十倍,token 成本几乎不变。
两个耗时别混在一起
1 万行日志的本地解析与错误分组,实测中位数 186 毫秒(Python 3.14 / Windows 10,5 次取中位数);这一段和 LLM 无关,纯粹是字符串处理。其中解析加分类计数 127 毫秒,分类去重与生成报告 59 毫秒,本地部分合计 186 毫秒,与日志行数线性相关。
真正的等待发生在 API:DeepSeek 往返 1 到 5 秒,取决于网络和服务端排队。这两个数字要分开看:混在一起就会得出「AI 分析只要 0.2 秒」的错误结论。规模上推时还有两个线性关系:吞吐稳定在 7.5 MB/s 左右,内存峰值约为文件大小的 4.2 倍。1.2 MB 日志峰值 5 MB,11.7 MB 峰值 49 MB,58 MB 峰值 246 MB。后者比时间更值得关心:50 万行逐行解析要 8 秒,等得起,但拿 1 GB 日志进去就是 4.2 GB 内存,大多数开发机在这里挂掉。
7 类异常被合并成 1 类:一个正则的故事
同一份日志,下面两行的分类结果完全不同:时间级别后面直接跟异常类名的那行被判成 GenericError,而多一个 [order-service] 方括号的那行能被正确识别为 NullPointerException。差别只有一个方括号。
根因在解析标准格式的正则:第三组本意是「可选的服务名方括号」,但 [^]]+ 会匹配任何不是 ] 的字符,包括空格。当一行里没有 ] 时,这一组会一路吃到行尾再回溯,把 java.lang.NullPointerException: 整段吞进 source 字段,剩下的 message 只有半截,比如只剩 out 两个字符。而分类函数吃的是 message 不是整行,拿到 out 什么规则都匹配不上,只能回落到 GenericError。
修法很简单:在每行的级别后面插入 [服务名],正则的第三组会在 ] 前停下,message 保持完整。修复后分组数从 1 变成 7,7 个分组合计正好等于 5400 条错误,一条不漏;耗时反而从 186 毫秒降到 122 毫秒。因为没有 ] 时必须吃满整行再回溯,加上方括号后立刻停下,省掉了回溯开销。

这是整篇实践里最实用的一条结论:如果你的日志是「时间 级别 消息」这种不带方括号的格式,错误分组会失效;补一个 [服务名],分类准确率和速度同时变好。影响范围比想象中窄:Python logging 默认输出和 Spring Boot 默认格式各走各的正则,不受影响;真正会踩到的是自己 print 拼的日志、被裁剪过的日志。
五条样本只覆盖了三类
送进模型的样本取自错误列表的最后 10 条,再截前 5 条,而且不按类型去重。结果是 7 种异常里只有 3 种进入模型,5 条样本中有 3 条是同一个连接池异常;占全量 20% 的连接超时、占 10% 的内存溢出,模型完全不知道它们存在,给出的根因分析自然只围绕连接池展开。修法是把样本池改成全量或每类保留最新一条,并让送模型的样本也走去重函数。只改后者,池子还是那 10 条。
三个来自实践的坑
坑一:模型会「合理推测」。日志格式不标准时,DeepSeek 会补全你省略的部分,比如日志里只有异常类名没有堆栈,模型可能编出一个「第 45 行」。对策是把它钉死在原文上:在提示词里明确要求错误类型、绑定具体时间与接口或文件路径的根因,以及可执行的修复建议,三段都必须对应日志里真实出现过的字段。
坑二:大文件必须截断。几十万行不能直接塞进上下文,可以取尾部一万行(适用于「刚出事,看现在」),也可以按时间窗口切段(适用于「知道大概几点出的问题」),后者更准:如果日志尾部已被后续正常请求冲掉,取尾部就会丢掉真正的现场。
坑三:提示词模板决定输出质量。同一个错误,问「分析一下这个日志」和问「只基于以下日志,输出错误类型、绑定具体时间接口的根因,以及可执行的修复建议」,输出差距很大。固定三段式模板是成本最低的改进。
什么时候不该用它
这一节比前面都重要。跨服务链路追踪不要用它,没有 traceId 就拼不出调用链,那是 Jaeger / SkyWalking 的活;实时告警也不合适,它不做阈值判断和通知,你需要 Prometheus + Alertmanager;处理每小时 GB 级的日志同样不行,全量读进内存,该上 ES 或 Loki;日志绝对不能出机器的合规场景更不要用,虽然只发 5 条样本,但样本里可能带用户 ID、订单号与路径。
可以用它的场景是:出事之后需要在十分钟内看懂一份几万行的日志,日志是带时间戳和级别的标准文本格式,并且能接受「根因是推测,需要人工确认」这个前提。另外提醒一句,安装方式也有坑:pip install loglens 会失败,正确的做法是 clone 仓库后 pip install -e .,依赖写在 pyproject.toml 里;Windows 下 CLI 报编码错误时,先设 PYTHONIOENCODING=utf-8。
把日志分析交给 DeepSeek,关键是在本机把日志聚合、分类与计数,只把摘要和几条去重后的样本发出去,不必把整份日志丢给它。这样既省 token 又少暴露数据,模型也能专注在它真正擅长的部分:基于少量真实样本给出可执行的根因假设。
本文转载自CSDN(技术小猪猪) 《DeepSeek 做日志分析:1 万行 186 毫秒,但 7 类异常被合并成了 1 类》,原文链接:https://blog.csdn.net/weixin_39301778/article/details/168030492。版权归原作者所有,如需删除请联系我们。