日志分析场景下的搜索引擎改进

难度系数:

困难等级star01困难等级star01困难等级star01困难等级star01困难等级star01

嘉宾 : 黎吾平 | 日志易 技术副总裁

会议室 : 光大10

讲师介绍

演讲嘉宾:黎吾平

日志易 技术副总裁

2008年进入阿里巴巴集团,长期从事搜索技术研发。2015年加入日志易,现担任技术负责人。主要研究方向为搜索相关技术、分布式技术、运维技术等。

议题介绍

地点:光大10
所属专题:日志处理

演讲:日志分析场景下的搜索引擎改进

难度系数:

困难等级star01困难等级star01困难等级star01困难等级star01困难等级star01

Elasticsearch 是目前最流行的日志分析存储引擎。随着业务发展,越来越多的IT运维日志也催生出越来越大的 Elasticsearch 集群,越来越高的维护成本和越来越难的复杂分析需求。
本次演讲将重点讲述日志易在追求极致性能、提供精准结果、压缩运行成本等各方面,针对 Elasticsearch 提出的改进方案和最终效果,以及过程中的抉择与思考。

主要内容:

  1. ES在日志分析领域的常见运用场景简介。
  2. 针对ES的改进方案以及效果:

           a. 高配服务器的"多线程 vs 多节点";
           b. 不同种类日志的数据类型冲突:"mapping之上的mapping";
           c. 新数据的 mapping 更新带来的性能影响:"全局 vs 本地";
           d. 数据实时性:"准实时 vs 实时";
           e. 不同 replica 方式带来的写入性能提升;
           f. 索引分级管理:"跨网络hot-warm方案 vs 索引级phantom方案 vs 节点内部demotion方案"。
 

听众受益:

  1. 学习理解日志分析技术的常见使用场景和效果;
  2. 学习掌握大规模日志分析场景下可能会遇到的稳定性和性能方面的问题;
  3. 学习了解一些针对性的优化改进方案。
本网站图片存储由七牛云独家支持