回到顶部

滴滴技术沙龙第3期:Alluxio的探索和应用实践

2018年1月20日 12:30 ~ 2018年1月20日 18:00

收起

活动票种
    付费活动,请选择票种
    展开活动详情

    活动内容收起

    滴滴技术沙龙是由滴滴出行工程委员会发起主办的高质量技术交流活动。每期围绕一个主题,由滴滴出行和其他互联网公司的专家以独立演讲、Q&A、开放讨论等方式,与领域内的中高端技术人员进行自由、深度的交流和学习。

     

    大数据高效处理是当下一线互联网公司都在持续探索和实践的重要课题,业界各种新的技术和解决方案层出不穷,Alluxio(前称Tachyon)是其中很优秀并受大量开发者关注及公司生产级实践的一种。

     

    作为世界上第一个内存级的分布式大数据存储系统,Alluxio能帮助实现不同数据源的融合和高速访问。通过存储层虚拟化,不同的计算框架可以以统一的数据接口无缝访问不同数据源中的数据,从而更专注于高效的创新和迭代。 Alluxio自带的以内存为核心的存储架构可以使计算框架以内存速度访问存储数据,加速业务分析并方便计算和存储的可伸缩部署。

     

    Alluxio是大数据领域内发展最快速的开源项目之一,全球已有超过800名开发者与100多家公司机构参与到Alluxio项目构建中。

     

    目前,在世界范围内众多公司的生产环境中都已经部署了Alluxio并作为其数据平台的关键组件,包括京东、腾讯、百度、唯品会、携程、联想、英特尔、三星、华为、中兴、NVIDIA、Barclays银行等。

     

    本期滴滴技术沙龙携手Alluxio社区,邀请到了滴滴出行、Alluxio、Kyligence、京东、腾讯的核心工程师,围绕Alluxio在大数据生态系统中的位置和设计理念、架构功能特色、最新发展、在知名公司生产级环境应用的探索和实践,以及在使用过程中的心得等话题,与现场参会者深入分享。


    欢迎大家报名参加滴滴技术沙龙第3期:Alluxio的探索和应用实践。


    活动议程

     

    技术沙龙第3期新议程0118.jpg


    活动时间及地点

    2018年1月20日(周六)13:30-18:00

    滴滴大厦2号楼(暨尚东数字山谷B区2号楼)5层分享厅

     

    演讲议题/讲师简介


    主题一:如何使用Alluxio来有效分离计算与存储

    本议题首先将整体介绍开源分布式存储系统Alluxio,及其在大数据生态系统中的位置与设计理念。随后介绍如何理解存储与计算分离是大数据领域新的架构趋势,并从系统搭建、数据本地化、云部署等多方面,分析Alluxio架构上的优势,以及如何使用它搭建一个高效灵活的去耦大数据平台。最后,讲解Alluxio的内部架构并分享在构建Alluxio过程中,关于分布式系统设计与实现的心得与思考。

     

    讲师简介:富羽鹏,Alluxio公司创始成员与资深架构师,Alluxio开源项目PMC成员。先后在Google、Palantir等公司工作,专注数据库与存储平台的搭建。本科与硕士毕业于清华大学,并在美国加州大学圣地亚哥分校进行数据库领域的博士研究。目前负责Alluxio项目的核心模块与整体架构。

     

    主题二:Alluxio在京东计算框架-可插拔容错组件的应用

    Alluxio作为可插拔的容错组件应用于京东体系内诸多计算框架。演讲中将介绍京东如何利用Alluxio优秀的缓存能力提供对AdHoc,实时流计算的支撑,并降低集群对于网络消耗的依赖。

     

    目前,JDPresto on Alluxio已经带来了10倍的平均性能提升。当Alluxio服务不可用时,JDPresto可以直接访问HDFS。在应用过程中,不断扩展Alluxio,增强Alluxio和HDFS的一致性。Alluxio已经在京东的生产环境运行了1年。本次演讲会把这一年多以来的心得和经验分享给参会者。

     

    讲师简介:毛宝龙,毕业于北京信息科技大学。曾经在航天领域从事嵌入式平台开发6年,目前在京东大数据部门从事大数据平台的研发工作,主要负责HDFS、Alluxio等分布式存储系统的探索和应用。

     

    主题三:Presto & Alluxio在滴滴的探索和实践

    本次演讲主要从业务场景、架构设计和实现方式等几个方面介绍滴滴的Presto&Alluxio的应用。

    主要包括两个方面:

    第一个部分包括:概述Alluxio的技术演进、架构原理和应用场景,以及结合现有滴滴业务场景的案例分享。

    第二个部分重点介绍Presto在滴滴OLAP场景下的实践,包括Presto的架构特点、性能调优方法、问题及解决办法,最后是对Presto&Alluxio未来的规划和思考。

     

    讲师简介:杨华峰,滴滴出行大数据研发工程师,长期关注分布式系统、大数据高性能处理的应用和开发,目前负责Alluxio的应用探索和实践落地。

     

    杜若飞,滴滴出行大数据研发工程师,先后在阿里巴巴、美团点评工作,期间主要负责搜索引擎架构研发和搜索在线离线复用。长期关注分布式检索系统、分布式架构和大数据系统,目前主要负责滴滴出行的Presto生态建设。

     

    主题四:使用Alluxio加速云上超大数据OLAP分析

    联机分析处理(OLAP)技术已被企业广泛采用,企业运用OLAP分析其业务数据,生成报表,从而帮助业务人员制定商务决策。在当今的大数据时代,OLAP 越来越重要,且面临诸多挑战;而云计算使这种情况更加复杂化。在本次演讲中将介绍大数据智能科技公司Kyligence如何在云上利用Alluxio提升其OLAP引擎的性能。

     

    讲师简介:史少锋,Kyligence高级软件架构师,Apache Kylin核心开发者和项目管理委员会成员(PMC),专注于大数据分析和云计算技术。曾任eBay全球分析基础架构部大数据高级工程师,IBM云计算部门软件架构师。

     

    主题五:Alluxio在腾讯新闻和快报个性化推送业务的应用

    对于腾讯新闻这样亿级用户体量的产品,个性化推送服务最初设计的技术架构,是采取将用户画像数据全量加载到Spark内存进行计算,但伴随着业务的井喷式增涨时,这种架构存在着很大的瓶颈,计算的实时性出现急剧的下降,无法满足产品的需求;同时业务的稳定性也承受了很大的挑战。

     

    团队在调整技术架构之后,将画像数据首先加载到Alluxio缓存层,使得Spark作业变“轻”,以达到读写分离的目的,使得任务更加健壮;另外借助Alluxio的本地性等特征,计算耗时并没有出现大幅提高,很好的满足了业务的需求。本次演讲主要分享使用Alluxio的经验与心得。

     

    讲师简介:贺灿,腾讯研发工程师。现就职于腾讯网络媒体事业群,主要负责大数据平台的管理工作,以及对腾讯新闻和天天快报等基于平台运行的业务提供解决方案和技术支持。


    举报活动

    活动标签

    最近参与

    • Jacqueline
      收藏

      (6年前)

    • 沉思
      收藏

      (6年前)

    • formal
      报名

      (6年前)

    • 空泡泡
      收藏

      (6年前)

    • julian
      报名

      (6年前)

    • 杰森斯坦冰
      报名

      (6年前)

    您还可能感兴趣

    您有任何问题,在这里提问!

    为营造良好网络环境,评价信息将在审核通过后显示,请规范用语。

    全部讨论

    • 周周(Jon) 6年前 0

      特别好,特别棒,满满的干货

    • John 6年前 0

      活动不错哦,收获很多!

    • 6年前 0

      很不错

    • xinyi901 6年前 0

      干货很多,理论实践相结合。希望之后多多参加这样的活动。

    • ????爱宝宝???? 6年前 0

      人在楼下,保安不让进。

    微信扫一扫

    分享此活动到朋友圈

    免费发布