沪江网日志平台化之路

难度系数:

困难等级star01困难等级star01困难等级star01困难等级star00困难等级star00

嘉宾 : 曹林华 | 沪江 资深架构师

会议室 : 光大10

讲师介绍

演讲嘉宾:曹林华

沪江 资深架构师

2016 年加⼊沪江,负责沪江基础架构产品设计与架构,主要包括搜索平台、日志平台、全链路跟踪、实验平台等,曾任百度高级工程师,从事⾼并发 Push 相关的技术研发工作。目前致力于解决分布式、⾼并发、大数据量等各种技术难题与挑战,持续优化公司基础架构产品,保证系统高可靠、⾼性能、⾼可扩展性。

议题介绍

地点:光大10
所属专题:日志处理

演讲:沪江网日志平台化之路

难度系数:

困难等级star01困难等级star01困难等级star01困难等级star00困难等级star00

随着业务的快速发展,机器越来越多,服务越来越复杂,要监控的数据也排山倒海般袭来,在这样的背景下,⽇志平台如何才能应对⼤规模、多场景的数据采集、存储和实时分析展现?

综合考虑,我们采用基于 ELK Stack 建⽴⼤规模⽴体化的日志平台。 ⾸先,接⼊多个部⻔多个产品的日志搜索服务,每⽇产⽣的各类⽇志有⼗⼏种、处理TB 规模以上的日志量。 其次,提供冷热分离的功能,秒级完成数据的采集、处理和搜索统计。 最后,在系统价值层⾯汇集三端和各业务日志,并结合⼤数据分析平台,深度挖掘日志价值。

本次分享如何掌握基于 ELK Stack 打造亿级规模日志平台,并介绍⽇志平台的架构演进以及带来的业务价值。

主要内容:

  1. 日志平台建设的背景;
  2. 遇到的主要问题(接入服务超过100个,接⼊日志类型几十种,数据读写延迟加大到分钟级以上);
  3. 整体架构的三端融合式设计;
  4. 最佳实践(复杂数据类型前提下的 ELK 性能调优,如何实现秒级数据延迟);
  5. 日志体现出的业务价值(SLA 报表设计、Profile 报表设计)。

 

听众受益:

  1. 熟悉跨业务线的日志平台的整体架构设计;
  2. 学习并熟练掌握⽇志平台常见问题的应对措施;
  3. 熟悉日志平台所能产生的业务价值及其展现设计。
本网站图片存储由七牛云独家支持