从数据中台到数据库“自治”，数据背后你必须知道的三大技术实践 ｜ 活动推荐 作者 | 王晓青“一切业务数据化，一切数据业务化”，回顾过去几十年的企业信息化发展历程，企业持续在 IT 方面进行投入和建设，不断将发展过程中业务和经营管理端的各种能力以数据形态沉淀下来。海量且多样化的数据为具体问题提供了更多的信息，充分利用海量数据中的信息来解决问题，这便是数据的价值。 接下来，如何利用技术手段将数据作为生产资料融入业务价值的创造过程，使之持续产生价值，成为企业发展的重中之重。在此过程中，诸多现实问题也摆在眼前，如传统企业底层 IT 架构下新旧 IT 系统中沉淀的数据之间难以打通，数据库难以支撑企业业务的高效运营需求...... 面对数据管理和应用中的各类挑战，不少企业在不断探索和实践，并卓有成效。其中，三大技术实践值得你品读借鉴。 1、有赞数据中台成本治理实践 以往烟囱式的业务发展模式造成数据割裂，从而导致大量的重复开发和计算。研发效率底下、计算存储资源浪费，数据应用成本越来越高...... 这些已成为大部分企业面临的数据痛点。 数据中台则能很好地解决这些问题。其核心价值在于：避免数据的重复计算、提升数据服务力、提高数据共享力以及将数据资产化管理。但发挥数据中台核心价值的前提是一定要与业务数据应用场景相结合。面对垂直业务线众多、业务域众多、数据需求多样、业务需求迅速迭代等需求，有赞建立起了自己的数据中台，以解决“有赞的数据资产的加工和复用”。 随着有赞的业务高速增长，数据中台的计算资源消耗也水涨船高。半年翻一番，涨幅甚至超过业务，这不是一个可持续发展的状态。有赞从减少浪费、技术优化、成本运营等角度出发，进行了综合治理，以此提高成本“能效”。 2020 年 7 月 28 日，有赞技术副总裁沈淦将在线分享有赞在数据中台方面降本增效的探索实践，内容纲要如下： 机器资源利用率 ? 集群水位和机器利用率标准 ? 低利用率缩容 / 降配 ? 任务延迟启动，削峰填谷 ? 机型优化（计算型、存储型） 容器化改造 ? 利用 K8s 实现弹性扩缩容 ? 离线在线错峰混部 ? 资源按需购买 ? 存储计算分离 数据存储优化 ? 冷备数据使用腾讯云 COS 服务 ? hive 分区表生命周期管理 ? 优化存储压缩倍率 数据 / 任务优化 ? 无用数据（链路）探查下线 ? 任务优化（倾斜、表关联等） ? 减少调度频次 ? 使用 hive cube ? 减少重复计算 成本运营机制 ? 数据成本量化 ? 多维度账单 ? 推进 / 奖惩机制 ? 降本功能支持 / 反馈 2、海量挑战：腾讯云 ES 可用性及性能优化实践 在大数据和机器学习的时代，非结构化数据在数据中的占比越来越高，而在这些非结构化数据中，占据主导位置的是机器生成的日志数据。随着使用微服务，容器和机器学习构建越来越多的应用程序，机器生成的日志数据量已经呈现出指数增长的态势，因此对于日志的管理、分析、挖掘也提出了更高的挑战。为了快速解决运营和安全问题，对这些数据进行实时分析已变得至关重要。 面对海量数据挑战，腾讯云对原生 Elasticsearch Service（ES）进行了高扩展性、高可用、性能、成本等全方位的优化，并广泛应用于日志实时分析、结构化数据分析、全文、检索等场景。 那么，基于现实场景，腾讯云 ES 进行了哪些优化创新？它是如何解决爆炸性数据所带来的性能挑战和成本挑战的？又如何满足不同海量应用场景下的多样性需求？ 2020 年 7 月 29 日，腾讯云专家工程师 & Elasticsearch 研发负责人 & TencentES OTeam 发起人及 PMC 张彬将在线为大家重点剖析腾讯对 Elasticsearch 海量规模下的优化与实践。 内容纲要如下： 腾讯云 ES 在腾讯会议中的应用 常见大规模海量应用场景剖析 高可用及性能方向的优化 低成本解决方案上的优化 未来展望 3、前沿探索：腾讯云数据库自治服务最佳实现 作为存储重要业务信息的 IT 设备，数据库对现代企业高效运营至关重要。然而在现实中，DBA 常常需要耗费大量时间和精力来手动管理和维护数据库，也容易出错。在全面上云的大趋势下，数据库上云虽然解决了传统数据库的诸多问题，但随着业务应用不断将新记录添加到现有数据库，数据库的规模也在迅速增长，并且变得高度复杂，如何有效进行管理、保护和调优，从而发挥数据库的最优效能依然充满极大挑战。为解决这一难题，“自治”成为云数据库的一大趋势。 2020 年 8 月 5 日，腾讯云数据库高级产品经理 & 中国计算机行业协会开源数据库专业委员会副会长 & 北航特聘导师 刘迪 将分享腾讯云在数据库“自治”中的前沿探索与实践，解读如何让数据库发挥最优的效能。 内容纲要如下： 数据库规模化和上云的挑战 如何让数据库发挥最优的效能？ 腾讯云在数据库“自治”中的探索与实践 人工智能和机器学习在数据库自治领域的应用 DBbrain 行业典型案例分享 关于数据技术人的自我修养：如何成为一名优秀的数据工匠？ 如果说数据是互联网公司的核心资产之一。那么，这些核心资产背后，数据工匠则是收集数据、存储数据、处理数据、管理数据、使用数据、保证数据安全的坚实保障。优秀的数据工匠可以让一块石头变成璞玉，创造出高质量的数据、强大的基础模型及高性能的平台。 如今，在各个领域，与大数据相关的业务越来越多，如金融，广告，安全等，这些都涉及到对海量大数据的智能处理，数据技术人才由此变得炙手可热。作为（大）数据行业的技术人，你必须认清当下形势，找准自身定位，以正确合理的方式提升自己的实力与价值，如此才能成为各企业争相抢手的数据技术人才。 2020 年 8 月 6 日 ，三位技术大咖：腾讯云数据库负责人、数据库领域资深技术专家林晓斌，云和恩墨创始人、ACDU 主席盖国强，Elastic 中文社区深圳负责人、腾讯云最具价值专家 TVP 杨振涛 将为大家解读数据库与大数据技术发展现状，并分享自身的成长历程与经验。 内容纲要如下： 优秀数据工匠成长之路 数据库 & 大数据技术发展现状 优秀数据工匠有哪些特征？ 如何成为优秀数据工匠？ 还有哪些技术实践值得关注？ 2020 年 7 月 28 日至 8 月 6 日，腾讯云 + 社区将开展以“数据工匠”为主题的系列直播活动，一线技术大佬将带来自己的实战经验，内容涵盖：数据中台、Elasticsearch、数据安全、ClickHouse、MySQL 8.0、Pulsar、数据库自治等相关主题。 码 / 上 / 预 / 约 有价值的技术分享不容错过，扫描上方二维码或点击 阅读原文 速来报名。 阅读原文