2016 年加⼊沪江,负责沪江基础架构产品设计与架构,主要包括搜索平台、日志平台、全链路跟踪、实验平台等,曾任百度高级工程师,从事⾼并发 Push 相关的技术研发工作。目前致力于解决分布式、⾼并发、大数据量等各种技术难题与挑战,持续优化公司基础架构产品,保证系统高可靠、⾼性能、⾼可扩展性。
2016 年加⼊沪江,负责沪江基础架构产品设计与架构,主要包括搜索平台、日志平台、全链路跟踪、实验平台等,曾任百度高级工程师,从事⾼并发 Push 相关的技术研发工作。目前致力于解决分布式、⾼并发、大数据量等各种技术难题与挑战,持续优化公司基础架构产品,保证系统高可靠、⾼性能、⾼可扩展性。
随着业务的快速发展,机器越来越多,服务越来越复杂,要监控的数据也排山倒海般袭来,在这样的背景下,⽇志平台如何才能应对⼤规模、多场景的数据采集、存储和实时分析展现?
综合考虑,我们采用基于 ELK Stack 建⽴⼤规模⽴体化的日志平台。 ⾸先,接⼊多个部⻔多个产品的日志搜索服务,每⽇产⽣的各类⽇志有⼗⼏种、处理TB 规模以上的日志量。 其次,提供冷热分离的功能,秒级完成数据的采集、处理和搜索统计。 最后,在系统价值层⾯汇集三端和各业务日志,并结合⼤数据分析平台,深度挖掘日志价值。
本次分享如何掌握基于 ELK Stack 打造亿级规模日志平台,并介绍⽇志平台的架构演进以及带来的业务价值。
主要内容:
听众受益: