首页 > 资讯 > 快讯

Lenovo x DorisDB:简化数据处理链路,极大提升BI分析效率

2021/08/16 09:27      IT产业网   


  Lenovo联晟智达隶属于全球PC领导厂商联想集团,致力于打造科技驱动、柔性敏捷、服务体验一流的智慧物流生态平台,面向产业端企业提供综合物流解决方案,成为服务于中国及全球客户的智能供应链科技企业。联晟智达大数据团队逐步引入了多种OLAP分析引擎来更好的满足需求。DorisDB从众多的OLAP分析引擎中脱颖而出,它采用了全面向量化的计算技术,是性能非常强悍的新一代MPP数据库。通过引入DorisDB,构建了全新的统一数据服务平台,大大降低了数据链路开发复杂性,极大提升了BI分析效率。

  “作者:韩文博联想销售物流大数据平台负责人,专注于数仓建设、数据分析等领域研究。”

  一、OLAP引擎在Lenovo联晟智达的演进史

  第一阶段

  在2018年之前,联晟智达的数据总量还不是特别大,这个阶段使用的是传统关系型数据库(SQL Server),数据仓库体系还尚未建立,很多数据需求的实现都是以SQL脚本的开发方式来满足。

  但随着业务复杂度不断提升,以及数据量的快速增长,这种模式很快遇到了瓶颈。最主要体现在查询响应时效变得越来越慢。例如:之前运行一个任务需要10分钟或20分钟,现在需要一个小时或更长时间,查询效率严重下降。另外数据存储容量也存在瓶颈,无法满足随业务而快速增长的数据量存储需求。

  第二阶段

  2019年随着数据仓库在Hadoop/Hive体系上搭建和完善,ETL任务全部转移至Hadoop集群,这个阶段使用数十台Presto完成OLAP分析。Presto天然和Hive共享元数据信息,且共同使用物理数据存储,大量的对数仓表的灵活查询使用Presto完成。前端BI层面使用Tableau直接连接Presto,实现数据分析与挖掘。

  第三阶段

  2021年联晟大数据团队进行了离线数仓的整体设计和搭建,既需要做低延时的BI报表,又要满足Adhoc复杂查询,同时对高效明细查询也有很高的要求。这个阶段我们根据场景引入了OLAP圈炙手可热的DorisDB产品,它既能做Presto的Adhoc多表关联查询及复杂嵌套子查询,又能提供比ClickHouse更好的单表明细查询和多维物化视图上卷加速,满足极速BI分析需求。

  二、数据分析体系架构

  1.OLAP体系现状

  整个数据分析体系,由数据采集、数据存储与计算、数据查询与分析和数据应用组成。

  原始架构图:

  数据采集

  1)通过Sqoop读取RDBMS导入Hive。

  2)用Flume来同步日志文件到Hive。

  3)通过爬虫技术将网上数据爬取下来,存储到RDBMS,再由Sqoop读取RDBMS,导入到Hive。

  数据存储与计算

  离线数据处理:利用Hive高可扩展的批处理能力承担所有的离线数仓的ETL和数据模型加工的工作。

  数据查询与分析

  数据共享层主要提供对外服务的底层数据存储和查询共享界面。离线ETL后的数据写入RDBMS或MPP数据库中,面向下游多种服务,为Tableau BI、多维固定报表、Adhoc即席查询等不同场景提供OLAP查询分析能力。应用侧完美服务于BI报表平台、即席查询分析平台及数据可视化平台(Control Tower)

  数据应用层

  数据应用层主要为面向管理和运营人员的报表,查询要求低时延响应,需求也是迭代层出不穷。面向数据分析师的即席查询,更是要求OLAP引擎能支持复杂SQL处理、从海量数据中快速遴选数据的能力。

  三、各OLAP分析工具选型比较

  1.ClickHouse

  优点

  1)很强的单表查询性能,适合基于大宽表的OLAP多维分析查询。

  2)包含丰富的MergeTree Family,支持预聚合。

  3)非常适合大规模日志明细数据写入分析。

  缺点

  1)不支持真正的删除与更新。

  2)Join方式不是很友好。

  3)并发能力比较低。

  4)MergeTree合并不完全。

  2.DorisDB

  优点

  1)单表查询和多表查询性能都很强,可以同时较好支持宽表查询场景和复杂多表查询。

  2)支持高并发查询。

  3)支持实时数据微批ETL处理。

  4)流式和批量数据写入都能都比较强。

  5)兼容MySQL协议和标准SQL。

  缺点

  1)大规模ETL能力不足。

  2)资源隔离还不完善。

  四、DorisDB在SEC数据中心的应用实践

  渠道仓配管理(SEC)的核心数据来自两大块:一个是消费业务;第二个是SMB中小企业务(Think、扬天)。基于这些数据,根据不同的业务场景需求,汇总出相关业务统计指标,对外提供查询分析服务。

  1.原有解决方案

  在引入DorisDB之前,用到大量Hive任务进行业务逻辑清洗加工,清洗加工后的数据部分保留在Hive,部分数据写入MySQL/SQL Server,以达到数据的落地。前端BI通过Presto计算引擎连接Hive、MysSQL、SQL Server等,实现报表分析及数据可视化。

  2.技术痛点

  原有架构主要有以下两个问题:

  1)数据逻辑没有很好做归拢合并,维护工作量大,新需求无法快速响应。

  2)Presto的在SQL较多的Tableau复杂报表上响应较慢,不能满足业务即时看数需求。

  因此我们希望对原有体系进行优化,核心思路是利用一个OLAP引擎进行这一层的统一,对OLAP引擎的要求是比较高的:

  1)能支撑大吞吐量的数据写入要求。

  2)可以支持多维度组合的灵活查询,响应时效在100ms以下。

  3)比较好的支持多表关联。

  4)单表查询数据量在10亿以上,响应时效在100ms以下。

  经过大量调研,DorisDB比较契合数据中心的整体要求。DorisDB本身高效的查询能力,可以为数据中心数据报告提供一体化服务。新架构具备以下优点:

  1)结构清晰,RDBMS专注于数据的清洗,业务逻辑计算从Hive迁到DorisDB内实现,DorisDB就是数据业务逻辑的终点。

  2)可以维护统一的数据口径,一份数据输入,多个APP接口输出。

  3)MPP分布式架构,得以更好的支持分布式聚合和关联查询。

  4)和Tableau有较好的兼容性,可以满足核心BI分析需求。

  3.基于DorisDB的解决方案

  升级后架构图:

  数据表设计

  1)数据模型设计

  DorisDB本身提供三种数据模型:明细模型/聚合模型/更新模型。对SEC业务来说,目前以明细模型为主,后续如果有其他场景,再考虑应用其他模型。

  2)数据分区/分桶

  DorisDB提供的数据分区和分桶功能,可以很好的提升历史库存及周转场景下明细查询的性能。例如,历史库存查询常见的一种查询场景,是查询过去某一时间段内的库存周转情况,我们可以在DorisDB中根据出库时间进行分区,过滤掉不必要的分区数据,减少整个查询的数据量进行快速定位,尽量减少了查询语句所覆盖的数据范围,分区、分桶、前缀索引等能力,可以大大提高点查并发能力。这些特性对业务迎接增长,面对未来可能出现的高并发场景也具有非常大的意义。查询某一个物料条码(SN)的历史轨迹数据,能够快速的检索出该条码的所有历史出入库轨迹信息,帮助我们高效的完成供应链全生命周期回溯。

  物化视图

  我们利用DorisDB物化视图能够实时、按需构建,灵活增加删除以及透明化使用的特性,建立了基于库存物料SN粒度、基于产品类型特征粒度、基于库房粒度、基于分销商粒度的物化视图。基于这些物化视图,可以极大加速查询。

  数据导入

  数据导入DorisDB这里用到了两种方案:

  1)在DorisDB提供的Broker Load基础上将离线数仓Hive的表导入到DorisDB中。

  2)通过DataX工具,将SQL Server、MySQL上的数据导入到DorisDB。

  4.DorisDB使用效果

  灵活建模提升开发效率

  结合使用宽表模型和星型模型,宽表和物化视图可以保证报表性能和并发能力,而星型模型可以让AP如TP里那样建模,直接进行关联查询,不必所有场景都依赖宽表准备,在数据一致性和开发效率上得到很好提升。另外,有不少表是在MySQL里的,我们通过DorisDB外表的方式暴露查询,省去了数据导入的过程,大大降低了业务方的开发和迁移周期。DorisDB的分布式Join能力非常强,结合View的能力构建统一的视图层,面下不同BI报表进行查询,提升了指标口径的一致性,降低了重复开发。

  BI体验极好

  前期部分BI可视化是基于SQL Server、MySQL构建的。部分看板不断优化和丰富需求后,加上多维度灵活条件筛选,每次加载很慢,有些Tableau报表很长时间才能加载出来,业务无法接受。引入DorisDB之后,我们用DataX将SQL Server数据导入DorisDB,这里使用了DorisDB-Writer插件,底层封装的Stream-Load接口,向量化导入效率非常高。MySQL可以通过外表insert into select流式导入,也可以直接外表查询,非常便捷。Tableau图表秒出,体验有了质的飞跃。

  运维成本较低

  数据中心是非常核心的一个线上服务,因此对高可用及灵活扩容能力有非常高的要求。DorisDB支持数据多副本,FE、BE仅仅2种角色组成的简洁架构,在单个节点故障的时候可以保证整个集群的高可用。另外,DorisDB在大数据规模下可以进行在线弹性扩展,在扩容时无Down Time,不会影响到在线业务,这个能力也是我们非常需要的。

  总结

  Lenovo联晟智达从今年(2021年)4月份开始调研DorisDB,POC测试阶段用了1/4的资源,就完美替代了数十个节点的Presto集群,当前DorisDB已经上线稳定运行。引入DorisDB后,实现了数据服务统一化,大大简化了离线数据处理链路,同时也能保障查询时延要求,之后将用来提升更多业务场景的数据服务和查询能力。最后,感谢鼎石科技的大力支持,也期望DorisDB作为性能强悍的新一代MPP数据库引领者越来越好!

  榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。

相关阅读