MaxCompute 是一个多配置、高性能、易经常使用的企业级的数据仓库服务，曾经为阿里巴巴个人提供服务达 14 年。目前每日 DML 的义务数超越了 2,600 万，单日的数据量规模到达 EB 级，服务个人内用户 4W+。在如此大的体量之下，也暴显露几个疑问：随着业务的规模越来越大，重复计算越来越多，消耗了少量资源；关于计算结果的产出时效有了更高要求；经过少量量变革脚原本启动数据控制的老本高，难度大。最终物化视图成为处置以上疑问的最佳方案。
与个别视图（Virtual View）不同，物化视图存储的是查问结果的物理正本，而个别视图仅仅是一个虚构的表，它在查问时才灵活地生成结果。物化视图的开展历史与数据库技术的提高严密关系。以下是物化视图开展的一些关键阶段。
物化视图也有一些缺陷：
二、物化视图的设计和成功
在物化视图的设计阶段，咱们关注物化视图的创立、保养和运行。
MaxCompute 支持创立个别物化视图、分区物化视图、聚簇物化视图和穿透物化视图，详细的创立形式体如今建表语句中，PARTITIONED BY (col_name) 语句指定创立物化视图表为分区表，CLUSTERED BY (col_name) SORTED BY (col_name [ASC | DESC]）INTO number_of_buckets BUCKETS 语句指定创立物化视图为聚簇表。
在物化视图创立的环节中有两个关键点，第一个是须要树立一个基表到物化视图的索引，这样在查问时就能极速地失掉到关系的物化视图。第二个是基表数据版本保管，在物化视图的元数据中须要保管对应基表的数据版本；另外关于分区物化视图，要求分区物化视图的分区列和基表坚持分歧，这样的话，可以成功分区级的增量降级。
MaxCompute 经过建表语句中的 TBLPROPERTIES 指定能否开启智能刷新，刷新时时期隔和分区增量刷新：
3.如何经常使用物化视图成功减速查问
智能查问改写：智能查问改写经过四个步骤成功，第一步，应用基表到 MV 的索引去失掉关系物化视图；第二步是命中预判定，假设一个基表关联的 MV 的数目太多的话，经过命中预判定，以便尽早过滤有效的物化视图；第三步是把物化视图注册到优化器中；第四步是改写校验及口头，这关键包括的是基于 CALCITE 改写规定的二次开发，其中蕴含了一系列的校验，包括字段校验、谓词校验、关联校验以及分组和聚合校验等，经过这些校验来判别查问字段、查问条件、关联条件、分组和聚合条件等能否与物化视图分歧，从而选择能否能用物化视图改写查问。
ds uid pv users ds‘’ ds‘’ ds ds uid pv users ds‘’ ds查问改写后的 SQL 就变成了：
ds pv mv ds‘’ ds‘’ 智能查问改写是基于 SPJG 的婚配。婚配会智能疏忽空格、换行、注释、别名等影响，除此之外查问 SQL 与物化视图 SQL 不齐全相反的场景下，智能查问改写会尝试改写查问 SQL，补救物化视图 SQL 和查问 SQL 之间缺少的计算举措，比如当 SQL 查问的 SELECT 列与物化视图 SQL 的 SELECT 列不齐全相反时，智能查问改写对 SELECT 列支持状况如下：
智能穿透：智能穿透的关键是辨别物化数据和非物化数据。经过 SQL 解析后的口头方案，确定查问 SQL 的指标分区，而后去 MV 外面看相应的分区能否失掉了物化，假设存在没有物化的分区，就将该分区转化为视图去口头。比如有个查问 SQL 是：select key from src where ds >= ‘20230530’group by key，存在一个按天增量的 MV 只要 20230601 到 20230605 的数据，智能穿透配置会间接读取 20230601到 20230605 已物化的分区，并将未物化的分区 20230530 和 2023 转化为视图口头，最后将两局部数据 UNION ALL 起来。智能穿透既节俭了存储，又成功了灵敏扩展。
三、智能介绍及智能物化视图
物化视图在推行的环节中存在以下三个疑问：
针对以上三个疑问，MaxCompute 经过智能介绍和智能物化的方法降落物化视图的创立难度，提高用户经常使用体验。
经过对口头义务启动剖析，智能选用资源消耗大、义务耗时长、经常使用频率高、预期收益大的 SQL 启动语句拆分和兼并，提取出公共表白式，基于公共表白式构建物化视图。在义务运转时选用婚配率高的物化视图启动介绍，比如：
在智能物化视图的成功中，有三个关键点：
MaxCompute 物化视图的配置概览如下图所示：
咱们针对业界产品做了一个剖析，对比 MaxCompute 与 Hive、Spark、Snowflake、RedShift、BigQuery 等产品的物化视图配置，如下所示。
可以看到，MaxCompute 中的物化视图的配置还是很全的，囊括了分区、聚簇、查问改写、延时物化、穿透、智能生成和智能降级等配置。
MaxCompute 物化视图在淘天业务线的运行效果如下：
在淘天业务线上，目前创立了超 5 千个物化视图，优化的查问义务超 2 万。优化后的查问平均资源的消耗降落了 20% 以上，甚至有一些查问消耗降落了 80%。目前智能物化视图这个配置还在灰度中，估量最终可以创立超 10 万个物化视图，查问的笼罩范围可以到达 50 万，估量将节俭 14% 的 CU 资源。
最后是对未来上班的展望。
未来，咱们还将在以下方面启动完善：