logstash 将日志北京时间保存成utc


声明:本文转载自https://my.oschina.net/u/3145519/blog/1358251,转载目的在于传递更多信息,仅供学习交流之用。如有侵权行为,请联系我,我会及时删除。

  旧系统的日志记录的时间是北京时间'yyyy-MM-dd HH:mm:ss'格式的,导入elk希望能已日志时间建立索引,方便查询。由于kibana的前端自动处理utc时间,会将elasticsearch的utf时间转换成当前的时间,所有我们在elk中统一使用utc时间。

 通过配置logstash的filter处理

步骤一:配置grok,找到符合日志时间格式的pattern,TIMESTAMP_ISO8601是内置的pattern,从源码看出%{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}? 符合我们的日志的格式

步骤二:配置date, 从步骤一获取到logtime中匹配“yyyy-MM-dd HH:mm:ss”的时间,重写@timestamp;这里关键的一点是指定timezone为日志的时区,我们使用Asia/Shanghai, 这样logstash才能知道时间的时区信息,转换成对应的utc时间保存到elasticsearch

 

 

参考:http://blog.csdn.net/xiaoyu_bd/article/details/52531051

官网:https://www.elastic.co/guide/en/logstash/current/plugins-filters-date.html#plugins-filters-date-locale

pattern源码:https://github.com/elastic/logstash/blob/v1.4.2/patterns/grok-patterns

时区:http://joda-time.sourceforge.net/timezones.html

 

本文发表于2017年07月12日 16:36
(c)注:本文转载自https://my.oschina.net/u/3145519/blog/1358251,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有侵权行为,请联系我们,我们会及时删除.

阅读 4040 讨论 1 喜欢 0

抢先体验

扫码体验
趣味小程序
文字表情生成器

闪念胶囊

你要过得好哇,这样我才能恨你啊,你要是过得不好,我都不知道该恨你还是拥抱你啊。

直抵黄龙府,与诸君痛饮尔。

那时陪伴我的人啊,你们如今在何方。

不出意外的话,我们再也不会见了,祝你前程似锦。

这世界真好,吃野东西也要留出这条命来看看

快捷链接
网站地图
提交友链
Copyright © 2016 - 2021 Cion.
All Rights Reserved.
京ICP备2021004668号-1