回到顶部

滴滴技术沙龙第1期:大数据架构和实践

2017年11月18日 12:30 ~ 2017年11月18日 18:00

收起

活动票种
    付费活动,请选择票种
    展开活动详情

    活动内容收起

    滴滴技术沙龙是由滴滴出行工程委员会发起主办的高质量技术交流活动。每期围绕一个主题,由滴滴出行和其他互联网公司的专家以独立演讲、Q&A、开放讨论等方式,与领域内的中高端技术人员进行自由、深度的交流和学习。

     

    近年来,滴滴出行业务高速发展,在国内已经覆盖了400多个城市,有4亿多用户,并且正在向国际化迈进。滴滴在这一过程中积累了大量的数据:140亿+日均定位、200亿+每日路径规划请求、2500万+日峰值订单、每日新增超过70T的轨迹原始数据...滴滴出行技术团队通过每天高效处理海量且持续增长的大数据,用以不断提升服务效率和用户体验。从对大数据的实时处理技术和规模上,都已经达到了国内的领先水平。


    大数据技术正日益成为各互联网公司的看家本领,今日头条和魅族在这方面也积累了丰富的实战经验。因此,本期技术沙龙邀请到了滴滴出行、今日头条、魅族负责大数据架构平台技术的核心工程师,围绕生产级环境的应用案例,就如何研发、部署、应用大数据技术,计算平台架构设计,系统性能升级优化,应用场景实践,产品哲学思考以及如何填“坑”等经验,与现场参会者深入分享。

     

    欢迎大家报名参加滴滴技术沙龙第1期:大数据架构和实践主题交流活动。

    活动议程

    滴滴技术沙龙日程1030.jpg 

    活动时间及地点

    2017年11月18日(周六)13:30-18:00

    滴滴大厦2号楼(暨尚东数字山谷B区2号楼)5层分享厅


    演讲议题/讲师简介

    主题一:魅族大数据开发平台架构实践

    演讲内容分为四个部分。首先,介绍魅族大数据开发平台(包括实时/离线)在产品体系中的地位和功能。其次,重点讲解魅族实时/离线数据传输、计算平台的架构设计思想,以及在模型设计、调度策略、监控告警、跨机房、协议设计、数据对账等方面的考量,踩过的坑和解决之道。此外,还将介绍魅族大数据开发平台的安全技术实践Kerberos&KDC、Ranger)及平台应用经验。最后,阐述产品技术的未来规划及思考。

     

    讲师简介:张欢引,魅族数据平台研发主管、架构师。拥有11年互联网从业经验,近4年大数据平台架构及团队管理经验;擅长C++代码开发、平台架构设计、项目推进及管理。

     

    主题二:深入剖析大数据任务调度系统在滴滴的应用和架构实现

    演讲主要从应用场景、产品演变、架构设计和实现方式几个方面来介绍滴滴大数据任务调度系统(Capricornus)。主要内容包括:

    1.大数据任务调度系统如何承载滴滴几乎所有业务线、全部数仓任务、所有核心报表每天40000+任务的无差错调度;

    2.滴滴通过什么依赖模型让各个部门各条业务线任务轻松关联起来,而不需要每个任务开发者都必须了解上下游任务的内容;

    3.如何让数据回溯因有调度系统而变得简单;

    4.调度系统通过何种方式来降低任务雪崩概率、雪崩后如何通过调度系统快速恢复;

    5.如何做到每次系统架构升级对用户完全透明,系统间的各个组件如何解耦;

    6.关于滴滴任务调度系统现在的痛点和未来规划。

     

    讲师简介:王小静,滴滴出行大数据管理平台负责人,负责滴滴大数据核心系统——任务调度系统(Capricornus)、大数据权限管理中心D++、开发平台等平台的建设;多次作为核心人员参与滴滴大数据机房异地迁移工作,见证了Capricornus如何从三年前每天调度数百个任务到现在每天完成4万+任务无差错调度的全过程。

     

    主题三:今日头条的Hadoop Yarn/HDFS实践

    演讲分为三个部分。第一部分是Hadoop技术概述和演进,简要介绍Hadoop平台架构、发展历史以及重要演进;第二部分重点介绍Hadoop在今日头条的使用,包括平台技术架构特点,如何支持今日头条1亿+DAU的产品,以及实践Hadoop时遇到了哪些挑战,如何解决;第三部分是对未来的规划和思考。

     

    讲师简介:徐鹏,今日头条基础架构研发工程师,长期关注大数据处理、分布式系统的研究以及Hadoop相关技术的应用与开发,《HDFS 2.X 源码剖析》作者。

     

    主题四:速度与激情——滴滴实时计算之道

    演讲首先从技术和产品两个方面,介绍滴滴实时计算解决方案的演进历程。其次,围绕“数据引力”,探讨如何在云端构建适合大数据实时分析场景的工具链,及其背后的产品哲学。再有,介绍滴滴Woater实时计算平台所提供的能力,以及在滴滴出行内部具体的应用场景。最后,分享未来的产品规划和思考。

     

    讲师简介:艾毅,滴滴出行实时计算平台负责人,2015年2月加入滴滴,主导了滴滴大数据实时监控系统、实时计算平台的建设。拥有多年大数据分析产品架构设计及开发经验。目前感兴趣的研究领域包括:实时计算、数据可视化分析、机器学习等。


    举报活动

    活动标签

    最近参与

    • anna
      收藏

      (7年前)

    • Dream_tang
      报名

      (7年前)

    • 楠木花
      报名

      (7年前)

    • 李唐
      报名

      (7年前)

    • jackie
      收藏

      (7年前)

    • 王山开
      收藏

      (7年前)

    您还可能感兴趣

    您有任何问题,在这里提问!

    为营造良好网络环境,评价信息将在审核通过后显示,请规范用语。

    全部讨论

    • jyc 6年前 0

      请问,哪里可以下载到PPT吗

    • 海子 7年前 0

      组织性很好,互动很好,技术好货!!

    • 畅行天下 7年前 0

      很不错,有收获

    • angel 7年前 0

      不错啊 值得称赞 学习氛围很浓郁 主办方负责人是CSDN的 经验丰富 茶歇不错 很喜欢

    • 做梦瘾大的很 7年前 0

      求ppt

    • 孟小亮 7年前 0

      挺好的

    • hwi 7年前 0

      干货很多,

    • tangch 7年前 0

      活动组织的佷成功

    • 杨继飞 7年前 0

      请问现在还能报名吗?谢谢

      • Jack Jiang 7年前

        回复@余额不足:这次报名已满额,欢迎关注下次活动,谢谢

    • 每天晒白牙 7年前 0

      我想请问一下,11.18号的滴滴大数据的活动还能报名吗?我见 报名的按钮不能点了

    微信扫一扫

    分享此活动到朋友圈

    活动日历   03月
    26 27 28 29 1 2 3
    4 5 6 7 8 9 10
    11 12 13 14 15 16 17
    18 19 20 21 22 23 24
    25 26 27 28 29 30 31

    免费发布