2008年进入阿里巴巴集团,长期从事搜索技术研发。2015年加入日志易,现担任技术负责人。主要研究方向为搜索相关技术、分布式技术、运维技术等。
2008年进入阿里巴巴集团,长期从事搜索技术研发。2015年加入日志易,现担任技术负责人。主要研究方向为搜索相关技术、分布式技术、运维技术等。
Elasticsearch 是目前最流行的日志分析存储引擎。随着业务发展,越来越多的IT运维日志也催生出越来越大的 Elasticsearch 集群,越来越高的维护成本和越来越难的复杂分析需求。
本次演讲将重点讲述日志易在追求极致性能、提供精准结果、压缩运行成本等各方面,针对 Elasticsearch 提出的改进方案和最终效果,以及过程中的抉择与思考。
主要内容:
a. 高配服务器的"多线程 vs 多节点";
b. 不同种类日志的数据类型冲突:"mapping之上的mapping";
c. 新数据的 mapping 更新带来的性能影响:"全局 vs 本地";
d. 数据实时性:"准实时 vs 实时";
e. 不同 replica 方式带来的写入性能提升;
f. 索引分级管理:"跨网络hot-warm方案 vs 索引级phantom方案 vs 节点内部demotion方案"。
听众受益: