ods和dm数据一致性,数据仓库st和dm层

ods什么意思简单的 2022-12-26 23:37 855 墨鱼

ods什么意思简单的

ods和dm数据一致性,数据仓库st和dm层

ˇ△ˇ 1、将数据以源表结构相同的方式同步到Oracle,数据工程师基于ODS数据进行统计。2、通过一些模型技术改变烟囱式的开发模型，消除一些冗余，提升数据的一致性。经验)在不太DIM 层数据来源于两部分：一部分是Flink 程序实时处理ODS 层数据得到，另外一部分是通过离线任务出仓

╯▽╰ 为了尽快完成需求我们就会直接从ods层建设DM，从而可以对外提供数据。屏蔽原始数据的异常。屏蔽业务的影响，不必改一次业务就需要重新接入数据。数据分层自下到上依次为ODS,DW,DM。2.2. ODS Operation Data Store(ODS) 数据准备区。数据仓库源头

1、用空间换时间，通过大量的预处理来提升应用系统的用户体验(效率),因此数据仓库会存在大量冗余的数据；不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作ODS(Operational Data Store) 操作性数据，是作为数据库到数据仓库的一种过渡，ODS的数据结构一般与数据来源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短。ODS的数

ODS直接存放从业务抽取过来的数据，这些数据从结构和数据上与业务系统保持一致，降低了数据抽取的复杂性。转移一部分业务系统的细节查询功能，因为ODS存放的数据与业务系统相同，原来有有赞的ODS 落地层解决了两个问题：1)导表的冲突，2)落后的数据仓库中间层建设和日益增长的业务需求之间的矛盾。导表的冲突由于数据源有各种各样的库，源表表名

简略点儿，间接ODS+DM就能够了，将所有数据同步过去，而后间接开发些应用层的报表，这是最简略的了；当DM层的内容多了当前，想要重用，就会再拆分一个公共层进去，变1. ODS ODS 层中的数据全部来自于业务数据库，ODS 层的表格与业务数据库中的表格一一对应，就是将业务数据库中的表格在数据仓库的底层重新建立一次，数据与结构完全一致。由于业务数

后台-插件-广告管理-内容页尾部广告（手机）

标签：数据仓库st和dm层