Elasticsearch 是目前最流行的日志分析存储引擎。随着业务发展，越来越多的IT运维日志也催生出越来越大的 Elasticsearch 集群，越来越高的维护成本和越来越难的复杂分析需求。
本次演讲将重点讲述日志易在追求极致性能、提供精准结果、压缩运行成本等各方面，针对 Elasticsearch 提出的改进方案和最终效果，以及过程中的抉择与思考。

主要内容：

1. ES在日志分析领域的常见运用场景简介。
2. 针对ES的改进方案以及效果：

           a. 高配服务器的"多线程 vs 多节点"；
           b. 不同种类日志的数据类型冲突："mapping之上的mapping"；
           c. 新数据的 mapping 更新带来的性能影响："全局 vs 本地"；
           d. 数据实时性："准实时 vs 实时"；
           e. 不同 replica 方式带来的写入性能提升；
           f. 索引分级管理："跨网络hot-warm方案 vs 索引级phantom方案 vs 节点内部demotion方案"。
 

听众受益：

1. 学习理解日志分析技术的常见使用场景和效果；
2. 学习掌握大规模日志分析场景下可能会遇到的稳定性和性能方面的问题；
3. 学习了解一些针对性的优化改进方案。

传统的移动日志体系包括：移动网络日志体系、用户行为上报体系、崩溃日志上报体系等。各日志体系之间相互独立，分别拥有各自的上报和查看系统。
在移动下半场时代来临之际，美团点评充分利用了移动端的特性，开发出了一套集多来源日志输入、高性能日志存储、可靠日志上报、可视化日志分析的综合日志体系。打通了各种旧有日志体系之间的隔阂，并利用数据可视化、大数据分析、数据开放平台等新思路辅助完成更细致的日志分析过程。

听众受益：

1. 了解美团点评移动日志分析完整体系；
2. 提供数据可视化、大数据分析、数据开放平台等日志分析新思路；
3. 介绍美团点评移动个案分析体系的开源计划。

微服务架构的复杂性使得软件系统变得脆弱，其行为不可预测，要增强软件系统的反脆弱性，有效利用生产环境的日志信息至关重要。通常负责日志处理的都是运维（Ops）人员，如果QA参与其中，将会带来哪些意想不到的效果呢？本话题将结合项目实践经历，跟大家分享QA如何与Ops在日志监控、分析和优化等方面通力合作，事半功倍的做好日志处理工作。

主要内容：

1. 软件系统的脆弱性与反脆弱性
2. Ops人员处理日志过程存在的不足
3. QA参与日志处理有哪些好处
4. 项目实践：

a. 项目背景介绍（规模化的微服务项目，错误日志大量增加，日志处理迫在眉睫）
b. 日志处理痛点（刚开始没有QA参与，加上日志本身也存在一些问题，日志处理显得不是那么高效，处理结果不能反馈到整个项目，没有达到Knowledge的有效共享）
c. QA加入，与Ops一起负责日志处理（加强日志监控与分析，持续优化日志信息，同时利用QA对系统的了解和对业务的敏感性，将日志处理的结果用于优化业务价值，并持续改进，使得日志处理价值最大化）

      5. 项目实践总结：

a. 日志处理过程的优化与演进
b. QA与Ops合作优势（日志处理更高效，更好的优化业务价值）

听众受益：

1. 了解日志处理的重要性和处理方法；
2. 了解Ops人员处理日志的不足和QA参与日志处理所带来的好处；
3. 了解日志优化技术方案，以及如何利用日志信息优化业务价值。

随着业务的快速发展，机器越来越多，服务越来越复杂，要监控的数据也排山倒海般袭来，在这样的背景下，⽇志平台如何才能应对⼤规模、多场景的数据采集、存储和实时分析展现?

综合考虑，我们采用基于 ELK Stack 建⽴⼤规模⽴体化的日志平台。 ⾸先，接⼊多个部⻔多个产品的日志搜索服务，每⽇产⽣的各类⽇志有⼗⼏种、处理TB 规模以上的日志量。 其次，提供冷热分离的功能，秒级完成数据的采集、处理和搜索统计。 最后，在系统价值层⾯汇集三端和各业务日志，并结合⼤数据分析平台，深度挖掘日志价值。

本次分享如何掌握基于 ELK Stack 打造亿级规模日志平台，并介绍⽇志平台的架构演进以及带来的业务价值。

主要内容：

1. 日志平台建设的背景；
2. 遇到的主要问题（接入服务超过100个，接⼊日志类型几十种，数据读写延迟加大到分钟级以上）；
3. 整体架构的三端融合式设计；
4. 最佳实践（复杂数据类型前提下的 ELK 性能调优，如何实现秒级数据延迟）；
5. 日志体现出的业务价值（SLA 报表设计、Profile 报表设计）。

听众受益：

1. 熟悉跨业务线的日志平台的整体架构设计；
2. 学习并熟练掌握⽇志平台常见问题的应对措施；
3. 熟悉日志平台所能产生的业务价值及其展现设计。