• banner1
  • banner2
  • banner3
当前位置:主页 > 产品案例 >

大数据多维分析引擎在魅族的实践

来源:http://www.i-fpga.com 责任编辑:尊龙d88 更新日期:2018-09-04 07:40

  大数据多维分析引擎在魅族的实践

  今日跟咱们共享apache kylin在魅族的一些实践。闲话不多说我就直接进入正题了~

  信任群里的各位同学应该都是对数据库技能感兴趣的,apache kylin作为大数据剖析引擎这一块近年来兴起的新星现已遭到越来越多人的重视。我今日的内容首要分为以下几个方面:

  Kylin的根本介绍

  Kylin中心概念和特性

  Kylin在魅族的运用事例(场景+优化实践)

大数据多维剖析引擎在魅族的实践

  在大数据的年代,越来越多的企业开始运用Hadoop办理数据,可是现有的事务剖析东西(如Tableau,Microstrategy等)往往存在很大的限制,如难以水平扩展、无法处理超大规模数据、短少对Hadoop的支撑;Kylin就是为了处理这些问题而规划的。Apache Kylin,中文名麒(shen)麟(shou) 是Hadoop动物园的重要成员。Apache Kylin是一个开源的分布式剖析引擎,开始由eBay的几位华人工程师开发奉献至开源社区,这也是它取名麒麟的一个重要原因,kylin是为数不多的由华人奉献至apache社区并可以成为尖端项目的。它供给Hadoop之上的SQL查询接口及多维剖析(OLAP)才能以支撑大规模数据,可以处理TB甚至PB等级的剖析使命,可以在亚秒级查询巨大的Hive表,并支撑高并发。

大数据多维剖析引擎在魅族的实践

  Apache Kylin于2014年10月在github开源,并很快在2014年11月参加Apache孵化器,于2015年11月正式结业成为Apache尖端项目,也成为首个彻底由我国团队规划开发的Apache尖端项目。于2016年3月,Apache Kylin中心开发成员创建了Kyligence公司,力求更好地推进项目和社区的快速开展。

  Apache Kylin于2014年10月在github开源,并很快在2014年11月参加Apache孵化器,于2015年11月正式结业成为Apache尖端项目,也成为首个彻底由我国团队规划开发的Apache尖端项目。于2016年3月,Apache Kylin中心开发成员创建了Kyligence公司,环亚国际娱乐,力求更好地推进项目和社区的快速开展。

  Kyligence是一家专心于大数据剖析范畴立异的数据科技公司,供给根据Apache Kylin的企业级智能剖析渠道及产品,以及牢靠、专业、源码级的商业化支撑;并推出Apache Kylin开发者训练,颁布全球仅有的Apache Kylin开发者认证证书。

  这儿插一句题外话,在做剖析引擎选型的时分,除了项目自身的成熟度之外,社区的活跃度和是否有一家商业公司在背面推进一直是我的一个重要的挑选规范,商业化公司在开源技能的安排,规范化,推行等各个方面都可以补偿社区的不足之处

  方才对kylin做了一些根本的布景介绍,接下来,咱们来逐渐深化的探求一下kylin究竟是怎么可以做到在PB级的数据量下供给亚秒级的查询呼应的

  首要,为了更好的习惯大数据环境,Kylin从数据仓库中最常用的Hive中读取源数据,运用 MapReduce作为Cube构建的引擎,并把预核算成果保存在HBase中,对外露出Rest API/JDBC/ODBC的查询接口。由于Kylin支撑规范的ANSI SQL,所以可以和常用剖析东西(如Tableau、Excel等)进行无缝对接。

  Kylin的架构图

大数据多维剖析引擎在魅族的实践

  简略来说,Kylin的中心思维是预核算,即对多维剖析可能用到的衡量进行预核算,将核算好的成果保存成Cube,供查询时直接拜访。把高复杂度的聚合运算、多表衔接等操作变换成对预核算成果的查询,这决议了Kylin可以具有很好的快速查询和高并发才能。

Copyright © 2013 尊龙d88_www.d88.com_尊龙用现金娱乐一下下载㊣ All Rights Reserved 网站地图