ELK

容器部署ELK7.10,适用于生产

容器部署ELK7.10,适用于生产

ELK架构简介 首先logstash具有日志采集、过滤、筛选等功能,功能完善但同时体量也会比较大,消耗系统资源自然也多。filebeat作为一个轻量级日志采集工具,虽然没有过滤筛选功能,但是仅仅部署在应用服务器作为我们采集日志的工具可以是说最好的选择。但我们有些时候可能又需要logstash的

Joe.Ye Joe.Ye 2023-04-01
0 0 1
ElasticSearch 常见异常

ElasticSearch 常见异常

1. Cannot open file logs/gc.log due to Permission denied 不能用root账户启动ES,需要用ES账户启动su essearch ./bin/elasticsearch 如果出现以上问题,则是因为用root启动过导致。到ElasticSearch

Joe.Ye Joe.Ye 2023-03-25
0 0 0
ElasticSearch因磁盘空间不足异常中止服务

ElasticSearch因磁盘空间不足异常中止服务

前台日志: [2021-02-20T16:57:32,332][INFO ][o.e.c.r.a.DiskThresholdMonitor] [node-1] low disk watermark [85%] exceeded on [qdXzCxNDTFe9UHzoCEzHJA][node-1][

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Kibana Grok 调试工具使用

Kibana Grok 调试工具使用

Kibana -> Dev Tools -> Grok Debugger Sample Data 2020-11-27 11:27:36.168 [appblog-mall-api-gateway][ WARN ] [123188] [nio-8081-exec-6] [9bd918cc

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Kibana新建index pattern卡住的解决

Kibana新建index pattern卡住的解决

Kibana新建index pattern的时候卡住,查看network就可以看到这条请求403了,权限问题 原因是.kibana这个索引,不能写了 Kibana -> Dev Tools -> Console PUT .kibana/_settings { "index

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Filebeat自动关闭问题解决

Filebeat自动关闭问题解决

问题描述 版本信息:filebeat-7.7.0-linux-x86_64.tar.gz 启动方式:nohup ./filebeat -c filebeat.yml & 导致问题:运行一段时候后自动关闭,日志如下 2020-05-26T07:20:52.806+0800 INFO

Joe.Ye Joe.Ye 2023-03-25
0 0 0
logstash.outputs.elasticsearch retrying failed action with response code 403

logstash.outputs.elasticsearch retrying failed action with response code 403

在用Logstash收集应用数据到ElasticSearch中时,运行一段时间后就出错: [root@appblog.cn logstash]# tail -f logs/logstash-plain.log [2021-02-20T17:09:26,878][INFO ][logstash.ou

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Logstash filter target操作之后remove_field删除子字段

Logstash filter target操作之后remove_field删除子字段

useragent { source => "agent" target => "ua" remove_field => [ "agent", "[ua][patch]", &q

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Logstash使用日志记录时间替换@timestamp

Logstash使用日志记录时间替换@timestamp

Logstash在处理数据的时候,会自动生成一个字段@timestamp,默认该字段存储的是Logstash收到消息/事件(event)的时间。 date插件:日期过滤器用于从字段中解析日期,然后使用该日期或时间戳作为事件的logstash时间戳。 filter { if [message

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Logstash排除字段及字段内容

Logstash排除字段及字段内容

排除字段 filter { grok { remove_field => ["agent", "cloud", "ecs", "host", "input"] }

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Filebeat利用Kafka进行日志实时传输

Filebeat利用Kafka进行日志实时传输

vim filebeat.yml nohup ./filebeat -c filebeat.yml & #=========================== Filebeat inputs ============================= filebeat.inputs: -

Joe.Ye Joe.Ye 2023-03-25
0 0 0
ELK 7.x — elastalert 企业微信告警

ELK 7.x — elastalert 企业微信告警

Elastalert_Wechat_Plugin 基于ElastAlert的微信企业号报警插件 elastalert: https://github.com/Yelp/elastalert elastalert_wechat_plugin: https://github.com/Hello-Lin

Joe.Ye Joe.Ye 2023-03-25
0 0 0
Logstash配置过滤Spring Cloud心跳日志

Logstash配置过滤Spring Cloud心跳日志

Eureka Client 发送心跳: com.netflix.discovery.shared.resolver.aws.ConfigClusterResolver.getClusterEndpoints Eureka 接收心跳: com.netflix.eureka.registry.Abstr

Joe.Ye Joe.Ye 2023-03-19
0 0 0
Kibana登录认证设置

Kibana登录认证设置

Kibana从5.5开始不提供认证功能,想用官方的认证X-Pack,收费滴 所以自己动手,使用Nginx的代理功能 安装Nginx 安装Apache密码生产工具 # yum install httpd-tools 生成密码文件 # mkdir -p /etc/nginx/passwd # htpa

Joe.Ye Joe.Ye 2023-03-19
0 0 0
Kibana添加filter

Kibana添加filter

字段生成 自动同步ES mapping 手动添加ES mapping (1)添加loglvl字段 POST thaipay/_mappings { "properties": { "loglvl": { "type&quot

Joe.Ye Joe.Ye 2023-03-19
0 0 0
1 2