设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 重新 试卷 文件
当前位置: 首页 > 服务器 > 安全 > 正文

轻松筹监控系统实现方案(4)

发布时间:2021-01-18 08:01 所属栏目:53 来源:网络整理
导读:QA Q:Logstash 你们遇到过收集慢和丢日志的情况吗?现在你们Logstash收集日志到什么规模了? A:我们目前的日质量大概每天2亿条,高峰时候每小时2000万条左右.Logstash运行的还可以,如果后期遇到手机慢,做简单的方式

Q&A

Q:Logstash 你们遇到过收集慢和丢日志的情况吗?现在你们Logstash收集日志到什么规模了?
A:我们目前的日质量大概每天2亿条,高峰时候每小时2000万条左右.Logstash运行的还可以,如果后期遇到手机慢,做简单的方式是扩机器,先解决问题,再想更好的优化策略.

Q:如果类似于Nginx、MySQL这种日志,类型增加需要解析每增加一个就要去改Logstash的grok吗?

A:针对常用的服务,grok已经提供了一些正则的pattern,例如你提到的Nginx、MySQL.目前是每增加一个就需要修改grok,后期可以实现一个UI来提高修改效率.

Q:这个lostash日志格式转换怎么学习?

A:Logstash有很完善的文档,感兴趣的话可以参考:https://www.elastic.co/guide/en/logstash/current/index.html

Q:据说Logstash比较吃内存,fluentd作为EFK组合也经常出现,请问你们有没有做过选型呢?

A:当时选择了ELK,就没有做太多的选型了,Logstash吃内存的问题现在还不是太突出.

Q:日志的完整性怎么保证的?怎么知道没丢日志,或丢失了多少日志?

A:Filebeat和Logstash的输出插件都有一些重试的策略,但是也免不了日志丢失.日志的完整性确实和保证日志不丢也是我们目前在尝试解决的问题.

Q:请问监控系统需要考虑高可用吗?

A:肯定是要考虑高可用,当后期更多的业务依赖监控系统后,就要保证监控系统不挂,查询要快,实时监控,报警准确等.

轻松筹,一亿用户信赖的全民众筹平台!(https://m2.qschou.com)

文章来自微信公众号:Docker

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读