注册 / 登录

构建分布式实时分析内存数据库eSight的实践之路

分会场:  爆款架构/架构演进/工程实践

 

案例来源 :

案例讲师

陈永庭 

饿了么 高级架构师

10+年软件研发经验,曾先后就职于WebEx、Cisco、腾讯公司,现就职于饿了么,先后负责饿了么多活架构方案设计、DRC中间件研发、eSight分布式数据库研发、IDC容量评估和服务容量弹性伸缩工作。在高吞吐、高可靠性服务架构、海量数据存储等方面具备丰富的经验。

扫描二维码分享案例

 

案例简述

 

主要按照如下思路与大家分享eSight: 1、eSight背景和介绍 1.1、eSight立项的背景原因 1.2、其他同类工具产品的现状和对比 2、eSight的架构设计 2.1、eSight存储和计算分离 2.2、eSight计算的技术关节设计 2.3、eSight存储结构设计 2.4、eSight内存数据压缩比 3、eSight实践 3.1、eSight线上运行状态 3.2、eSight在公司内部的使用场景

 

案例目标

 

当前的大数据平台不能满足实时数据的分析,运营、产品、技术同学在很多场景下诉求快速拿到实时数据的分析结果。

 

成功(或教训)要点

 

1.专注核心功能(性能、实时)的开发,极致优化; 2.舍弃影响核心功能的需求开发,不要尝试兼顾所有; 3.目标不要定位成工具开发,向产品化靠,提升产品体验很重要。

 

案例ROI分析

 

esight内存分析数据库有效的补充了大数据平台的应用场景。适合10~100TB容量规模下,对数据实时性要求高、查询维度自由、查询响应快等场景下的应用,常见于多维度实时数据趋势分析、提升精细化运营效果和快速分析定位问题原因。

 

案例启示

 

1、可以了解内存分析数据库的架构设计以及关键技术的选择

2、内存分析数据库不同于OLTP系统,不支持事务,不满足ACID特性

3、查询维度自由,无须预先建立维度,分布式内存聚合计算,查询响应快

4、适合ad-hoc类查询场景,需要频繁交互和分析的场景


 

案例在团队中的意义

 

诸如hadoop体系的通用大数据存储计算平台一般无法满足数据处理的时效性,一般只支持T+1的时效性和关键业务小时级别的数据延迟;很多场景下大数据量的磁盘IO(或首次IO)会引起查询响应延迟比较高,无法满足快速实时查询的要求;很多技术团队采取预先聚合数据的方式来达到实时查看数据结果的目标,但缺点是无法分析和查询聚合前的详细数据,随着业务的深入发展,精细化运营经常会需要直接查询聚合前的原始数据。eSight的优势在于查询性能快,在内存中直接对原始数据记录进行查询和聚合分析,eSight采用了大量灵活的数据编码方法和压缩算法支持更大的数据容量限制。

 

领取大会PPT

我要参会

限量1000份全套演讲PPT

免费领!还剩800份

限时9折优惠,立减580!截止10月30日!

我要参会