随着大数据与云原生的相互碰撞,各技术领域的新一波挑战和创变正以迅雷之势向我们宣战,加之国家对信创落地的加速推进,可以预见,2023年在数字经济建设整体布局之下,各行各业都将迎来核心技术自主可控以及持续深化数字化转型升级的双重挑战。在此背景下,数据智能管理、数据库国产化改造、云原生运维转型、数智化升级等技术发展方向,都是我们当下需要率先突破的课题。
在全国经济社会活动有序复苏的开春之际,蓄力已久的第八届DAMS中国数据智能管理峰会定档于2023年3月31日在上海举办,机械工业出版社作为本次峰会的媒体合作伙伴,携手中国信通院、阿里、腾讯、京东、美团、华为云、字节、蚂蚁、网易、新浪、中国移动、中国电信、携程、哔哩哔哩、爱奇艺、小红书、vivo、快狗打车、货拉拉、工商银行、建设银行、中国银行、平安银行、光大银行、微众银行、复旦大学等产学研界技术领跑单位,带来大数据、数据资产管理、数据治理、信创数据库及运维、科技等领域的先进理念和最佳实践,与大家一同探讨上述刻不容缓的技术发展课题。
指导单位:上海市软件行业协会、上海市计算机行业协会、中国信息通信研究院云大所
适听人群:CEO、CTO、CIO、COO、技术总监、IT经理、数据架构师等企业决策者和战略布局者
爱奇艺长期重视数据基础的建设,深刻理解数据之于业务的价值所在,在此思路指引下,不仅搭建了行业领先的大数据基础平台,而且在此基础上搭建了一系列行业领先的大数据应用,涵盖了行业领先的个性化内容分发平台、用户增长平台、商业决策智能平台等一系列对业务发展有决定性意义的系统和应用,对大数据理论的发展和工业界的实践应用提供了教科书式的案例。本次分享将具体介绍以下内容:
运维数字化转型是一项推动数据中心运维模式变革的系统性工程,在愈加复杂的系统规模和信创产品上线投产的运营保障要求之下,企业如何提升运维管理能力、实现运维数字化转型?本议题将具体介绍以下内容:
总结大型企业数字化运维能力框架,并介绍运维管理能力可度量、可提升的普适性实现方法;
分享覆盖统一数据管理、全景观测及智能分析定位、快速应急恢复执行的数字化运维大脑平台的建设思路;
结合以SRE为核心的生产保障团队建设,实现一体化、自动化、智能化运维管理,全面支撑企业运维数字化转型升级。
分布式、云原生、国产化是当前数据库的主要趋势,华为云在2022年围绕这些趋势,在技术、商业、生态上完成多项升级,打造企业核心应用云化的智能数据底座。本次分享将具体介绍以下内容:
技术实践上,GaussDB在面向政企的国产分布式数据库领域,发布了哪些高可靠、安全、性能方面的新特性;在面向互联网的云原生领域,如何实现Serverless、Regionless、Modeless的全新架构演进;
商用实践上,GaussDB上线全球最复杂的华为流程IT ERP系统,以及多家国有大行核心系统的经验分享;
生态建设上,随着更多合作伙伴加入GaussDB朋友圈,提供了哪些创新解决方案。
云原生数据库领域近年来发生了系列深刻变革,阿里云数据库率先提出了主导未来数据库发展的核心“四化”趋势——云原生化、平台化、一体化和智能化,本议题将解读此“四化”的具体内容及落地实践:
云原生化:基于基础服务构筑服务,使用户从购买资源向购买能力转变,加速数据业务上云,例如资源解耦、Serverless等能力;
平台化:基于云平台提供一站式数据管理与服务,提供标准的OpenAPI体系,减少业务烟囱;
一体化:聚焦客户业务场景,通过多产品一体化体验,简化开发、管理和运维,避免数据搬迁,具体包括:处理分析一体化、离在线一体化、集中分布一体化、多模处理一体化;
智能化:融合AI能力的数据库自治服务,提升运维效率与体验;数据库内置机器学习(ML)功能,无需移动数据即可进行模型训练、生成推理和预测。
本议题将重点讲述浙江移动在长期运维数字化转型过程中,针对技术风险打造出一套具备自身免疫能力的、系统性的防控体系,从而推动故障处置从1-5-10的基础上向1-1-1突破。
时序数据分析和挖掘是工业大数据处理的重要环节,现有时间序列数据库主要支持数据快速读写和简单聚集查询,通用时序分析工具主要关注预测和异常检测等单一分析功能,领域时间序列分析工具支持更丰富的分析手段,但不具有数据库能力。本次分享将介绍团队在工业时间序列管理和分析系统方面的实践探索,具体包括以下内容:
适听人群:数据开发、数据架构、大数据平台研发/运维、数据/算法工程、云原生研发等从业人员
介绍基于K8S平台进行离线计算集群与在线应用集群的资源混部的技术方案,具体包括以下内容:
湖仓一体技术可以为业务带来原先Hadoop数仓所无法提供的能力,包括流批一体架构、行级更新、schema evolution、更为丰富的查询优化等。腾讯自2020年开始投入该领域,为业务带来新的能力。本议题将分享以下内容:
主流数据湖技术(Iceberg、Hudi、Delta Lake)的能力和适用场景,以及如何在业务场景中使用湖仓一体技术代替原有组件;
如何实现复杂平台架构拆分,将业务逻辑与数据平台逻辑解耦,构建统一的消息总线服务;
在构建消息总线服务过程中,如何对周边生态进行扩展,实现高效的监控、统一的SDK封装,以及如何引入Schema Registry解决数据耦合的问题;
湖仓一体是近年非常火的趋势,如何保持湖的灵活性,同时提供仓的高效分析效率,是一个亟待解决的问题。本次分享主要介绍bilibili在OLAP平台上遇到的挑战,以及湖仓一体的架构设计,具体包括以下内容:
在数据分布、索引、预计算等多方面增强优化,提升数据分析效率,降低分析成本的实践经验。
快狗数据仓库经过多年建设迭代,积累了丰富的落地经验,本次分享将会和大家一起交流快狗数据仓库的技术建设和未来演进方向,具体包括以下内容:
适听人群:数据治理、数据管理、数据分析、数据资产管理、数据安全、数据中台建设等从业人员
平安集团建设数据中台的目的,一方面是整合内外数据能力,形成合力更全面立体高效地赋能全业务;另一方面是建设合规高效的数据管理及运营体系,加强对数据资产的管控和治理,保证数据使用的合规安全。本次分享内容具体如下:
解读国家和监管法律法规对责任主体,在数据确权、数据资产管理、数据使用方面的要求;
基于合规底线框架,如何构建企业数据管理和运营体系,高效促进数据要素的流动;
主要介绍一种新型的数据纺织架构,帮助企业摆脱传统数据管理及消费模式的束缚,释放更多生产力,分享具体包括以下内容:
如何利用元数据逻辑架构搭建的最新一代数据中台,使数据贴近数据源进行计算、消费及实时呈现相关数据报表;
企业如何利用便捷的数据分享方式,打通行业上下游的物理瓶颈,达到数据协作的功效;
本议题将阐述数据中台的概念沿革、发展历程以及当前数据中台所代表的企业数据能力框架,进一步介绍中国信通院牵头编制的《数据中台成熟度模型》系列标准,以及依据标准开展的相关评估工作,具体包括以下内容:
介绍微众银行在数据管理和应用方面的思考和沉淀,通过对数据资产从数据的生成、加工、管理、应用等全链路的治理,更好、更高效地对业务赋能、对成本把控,节省数据管理人力投入,更高要求地对数据进行价值挖掘和应用,具体包括以下内容:
介绍网易严选在数据治理的方法论和落地实践,通过对整个生命周期的数据、任务、服务组件的治理 ,保障数据稳定、高质量地进行生产,并推进整体资源优化,以及大数据平台的演进,具体包括以下内容:
适听人群:DAB、数据库开发/运维、分布式数据库、时序数据库、中间件等从业人员
本次分享主要介绍蚂蚁集团发展过程中基础设施面临的问题与挑战,以及如何基于OceanBase构建蚂蚁统一存储架构,同时在容器化、单元化、异地多活、大促弹性、智能运维上沉淀的实践,并提供以下启发:
分享如何基于MySQL源码的分析来快速、准确定位故障根因以及通过改造MySQL查询优化器源码,基于Cost模型自动给出风险SQL的索引优化建议,具体包括以下内容:
通过SQLE方案的拆解,分享如何实现高质量的SQL质量管控,实现信创背景下多种类数据库的自动SQL审核、自动流转,达成减轻DBA工作量、减少跨部门沟通成本的效果。分享具体包括以下内容:
从单机到分布式、从开源到自研,字节跳动在可观测性领域的海量metrics时序数据库逐步构建出了一套相对完善的分布式计算与存储的时序数据处理能力。本次分享主要包括以下内容:
随着单体架构向微服务架构演进、单云环境向混合云环境的过渡,DB层稳定性建设迎来了全新挑战。静态的某个DB长期稳定运行已不能满足企业要求,新的稳定性体系必须是能够应对海量存储以及频繁表结构变更、数据迁移、容量扩缩容的反脆弱稳定性体系。本次分享主要包括以下内容:
适听人群:应用运维、业务运维、智能运维、算法、SRE、大数据平台研发/运维、云原生研发/运维等从业人员
介绍工行全球总分行组织模式下,两地三中心高可用布局的监控体系结构,以及超十万级纳管服务器规模的监控数据采集、处理、预警、通知和自动化处置的方法,具体包括以下内容:
随着业务高速发展,vivo对稳定性的诉求越来越高,面临着机房可用性、业务强耦合等多方面的挑战,本次分享将基于这些业务挑战,给大家带来一些高可用建设的新想法和建议,具体包括以下内容:
在业务标准化、高可用架构应用、预案演练及复盘等四个方向做的重点建设、沉淀的运维方法,尤其是高可用建设的具体落地实践。
本次分享将介绍京东科技智能运维整体能力、传统运维与智能运维在故障预警到根因定位的直观比对时间轴,以及智能运维建设的价值。还将详述时序异常检测算法学件在京东科技线上横向业务场景,纵向监控、数据库、网络、资源调度等多个场景的落地经验,并提供以下启发:
近些年“可观测”成为运维场景的标配,其对大数据系统提出了更高的要求,本次分享将介绍新浪在此挑战下构建智能数据分析平台的经验,具体包括以下内容:
如何协助开发构建全链路监控体系,将业务的繁杂调用关系搜集到统一分析平台,构建统一分析、报警平台;
在高达近千万写入量的背后,是一套高效、低成本的数据分析平台,如何在其上构建对用户友好的系统,方便用户捞取、分析数据;
除了在运维监控领域,如何将数据分析、数据科学用于成本分析,并结合K8S对资源实现更细粒度的动态弹性,降低服务成本。
博睿数据近年来专注于打造一体化智能可观测平台,通过一体化、智能化(尤其是智能根因分析)解放运维人员的双手,且在一体化、智能化的基础上,建立复杂动态系统的可观测性,并通过平台化的方式让数据更加开放包容。本次分享具体包括以下内容:
SLO为应用的服务质量定义了明确的目标,帮助团队提供一致的客户体验、平衡功能研发与平台稳定性,改善与内部和外部用户的沟通。本次分享将以蚂蚁集团内部实践为例,介绍如何从0到1构建SLO、如何将AI结合SLO使数据发挥更大价值,以及基于SLO的健康度体系在运维场景下的成功实践,并提供以下启发:
通过标准化设计,构建自动化能力,提升规模和场景覆盖,简化SLO配置的复杂度和费力度;
将SLO应用到日常的应急场景中,结合AI算法在异常检测、故障定位、预案推荐等场景下的使用,提升应急能力和效率。
智能化,是数据库未来的重要发展方向之一。AI for DB,帮助数据库具备自感知、自定位、自修复、自运维的能力,可以有效简化数据库的运维难度,帮助数据库实现“自动驾驶”。本议题将分享阿里云数据库在“自动驾驶”上的具体实践和经验。
适听人群:/运营商CIO/CTO,科技战略规划、大数据架构设计、应用研发/运维、业务系统研发/运维等从业人员
本议题主要分享GaussDB在领域的核心业务场景中,如何平稳快速完成传统数据库搬迁的最佳实践与思考,具体包括以下内容:
众所周知,在一个复杂的分布式系统中,我们并不能阻止系统软硬件故障的发生,所以应该致力于在异常行为被触发前,尽可能多地识别出会导致异常的环节。当我们识别出这些风险时,就可以有针对性地对系统进行加固、防范,从而避免故障发生并带来严重后果。这就是本次分享混沌工程的目的,具体将介绍以下内容:
本议题主要介绍工商银行主机业务服务化背景、规划、建设方案,以及在服务化产生的事务问题上的解决方案,分享事务模型在工商银行常见业务场景中的适配、工商银行主机业务分布式转型的成效,并提供以下启发:
主要介绍华夏银行云数据中心在向“四层三域一中台”架构演进的过程中,对移动化和无人化运维的探索路径和经验总结,具体包括以下内容:
传统的集中式数据库,虽然比较稳定可靠,但高度集中,故障影响范围大,且成本高昂,扩展性较差,为了解决这些问题,也为了响应国家安全策略,银行业对已有的集中式数据库架构进行了分布式改造,并将业务迁移至分布式数据库上。在分布式改造过程中,遇到很多业务上和技术上的问题,本次分享将从以下三个方面进行介绍:
信创产业纳入国家战略,国家提出“2+8”发展体系 (、政,、电信、交通、电力、石油、航空航天、教育、行业)。浙江移动长期坚持自主可控探索,创造了运营商行业IT系统自主可控方面的多个第一。信创产品不成熟,羸弱的产品与客户和领导期待间的鸿沟需要实践者去弥补,本议题将分享浙江移动总结出的一套完整实践经验,有效解决“选型难”和“保障难”问题。威客电竞威客电竞威客电竞