腾讯看点基于Flink+ClickHouse的实时数据系统实践 | InfoQ 公开课
主题及讲师介绍
本期主题:腾讯看点基于 Flink+ClickHouse 的实时数据系统实践
时间:2020 年 10 月 12 日 20:00-21:00 当业务发展到一定规模,实时数据仓库就成了必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。但是在数据量巨大的情况下,以腾讯看点为例,一天上报的数据量可以达到万亿级规模,这时要实现极低延迟的实时计算和亚秒级的多维实时查询存在相当大的技术挑战。
本次分享将细致分析信息流场景下,实时数据系统面临的技术挑战。通过介绍腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构,详解如何基于 Flink+ClickHouse 解决海量数据场景下的实时数据分析系统难题。
直播大纲:
实时数据分析系统的作用和腾讯看点的业务场景分析
实时数据分析系统难点和方案选型
流水上报数据量大、格式混乱、缺乏维度信息
实时计算引擎:千亿 / 秒的上报数据实时维表关联的挑战
实时存储引擎:高并发写入、高可用分布式存储和高性能查询的难点
基于 Flink+ClickHouse 的技术架构和实践
通过微队列拆分、实时数据清洗,构建实时数据仓库,提供方便好用的实时数据
通过具有低延迟、高吞吐、易用性高以及 Exactly-Once 准确性特点的 Flink,再借助 Redis 缓存,实现海量数据下的实时维表关联
通过 MPP 存储引擎 ClickHouse,借助 Zookeeper 实现高可用,通过路由分表、预聚合物化视图等实现高性能多维数据查询功能
听众受益:
了解信息流场景下实时数据仓库的特点
了解腾讯看点万亿量级数据下,多维实时查询系统的技术架构
了解 Flink 和 ClickHouse 的企业实践
适合人群:
对大数据技术 Flink、ClickHouse 感兴趣的数据爱好者
正在探索通过 Flink 构建实时数据仓库的同学
正在探索通过 ClickHouse 构建多维 OLAP 查询系统的同学
讲师介绍:
王展雄,腾讯看点数据团队高级工程师,复旦大学硕士毕业后加入腾讯看点数据研发组,主要负责腾讯看点实时数据系统的研发和数据仓库的构建。曾经获得 JDD-2017 全球数据算法大赛 Top3,国际权威人脸数据库(MegaFace)百万规模的人脸识别挑战赛最好成绩。
如何看直播?
微信扫码下方二维码,进入直播群。
直播开始前,我们会在群内提供直播链接,方便大家及时收到通知。
直播结束后,我们会在群内分享嘉宾演讲 回放视频 和 PPT。
若微信群提示已满 200 人,请添加群主微信 13501176553,邀请入群。
更多福利
直播结束后,我们将进行福利抽奖!届时将在直播交流群中抽出三名幸运观众,为每人分别赠送编辑精选技术书籍一本!敬请期待哦~
??预约精彩直播,请点击【阅读原文】
阅读原文
网站开发网络凭借多年的网站建设经验,坚持以“帮助中小企业实现网络营销化”为宗旨,累计为4000多家客户提供品质建站服务,得到了客户的一致好评。如果您有网站建设、网站改版、域名注册、主机空间、手机网站建设、网站备案等方面的需求...
请立即点击咨询我们或拨打咨询热线:13245491521 13245491521 ,我们会详细为你一一解答你心中的疑难。 项目经理在线