Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

关于parseNginxLog的一点小问题 #20

Open
heyfgirl opened this issue Jul 1, 2020 · 1 comment
Open

关于parseNginxLog的一点小问题 #20

heyfgirl opened this issue Jul 1, 2020 · 1 comment
Assignees
@alphawq
Labels
bug Something isn't working help wanted Extra attention is needed

Comments

@heyfgirl
Copy link

heyfgirl commented Jul 1, 2020

我看到task的manage启动任务在启动parseNginx的时候是按定时任务，每分钟执行一次parseNginxLog。如果每个nginx的日志里面的内容很多。而这一分钟没有处理完这些数据，那么这些定时任务开启的node进程是不是越来越多呢。这样内存是不是会占满，fee是如何处理这个问题的呢，还是我的理解有问题，能不能说下呢。
在parseNginxLog文件的每行数据接收回调函数onDataIn中，我看到有每当处理好的数据文件写入流个数大于100就会删除老的流，那样老的数据是不是就不再处理了。还是有哪里处理了呢。
@heyfgirl heyfgirl added bug Something isn't working help wanted Extra attention is needed labels Jul 1, 2020
@alphawq
Copy link
Contributor

alphawq commented Jul 23, 2020

我看到task的manage启动任务在启动parseNginx的时候是按定时任务，每分钟执行一次parseNginxLog。如果每个nginx的日志里面的内容很多。而这一分钟没有处理完这些数据，那么这些定时任务开启的node进程是不是越来越多呢。这样内存是不是会占满，fee是如何处理这个问题的呢，还是我的理解有问题，能不能说下呢。
在parseNginxLog文件的每行数据接收回调函数onDataIn中，我看到有每当处理好的数据文件写入流个数大于100就会删除老的流，那样老的数据是不是就不再处理了。还是有哪里处理了呢。

@heyfgirl 理论上是会存在这个问题。所以在2.0版本中直接去掉了读写磁盘这块的逻辑，采用多进程内存读写的方式来处理数据，而且是常驻进程，不再使用定时启动的方式

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@alphawq alphawq

Labels
bug Something isn't working help wanted Extra attention is needed
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@alphawq @heyfgirl