这里写目录标题
拉链表
作用：用来解决历史变更数据是否维护的情况；
用来记录历史数据，记录一个事物从开始一直到当前状态的所有变化的信息。
拉链表有start_time和end_time字段来记录每条数据的生命周期；
有效数据：即指的是数据的end_time=‘9999-12-31’
过期数据：即指的是数据的end_time不等于‘9999-12-31’
初始条件：
ODS层 原始拉链表：
临时表：包含新增和更新的数据
具体操作：
准备工作：
- 【在hive的ODS层】构建临时表
update，用于存新增、更新数据 ， - 将MySQL中新增、更新的数据导入临时表
update（sqoop）； - 【在hive的ODS层】构建最终结果临时表
tmp，用于存储最终结果， tmp会覆盖原始拉链表！
第一步：让有效数据过期（针对有更新的数据）
目的是将需要更新的数据置为过期；
而已经过期的数据则不管；
用【ODS层】的 原拉链表 LEFT JOIN 临时表update：
当某id原始数据有效（9999-12-31） 且 临时表中有数据！ 则要改编end_time ！
即只需要更新的数据处理，让数据过期；
第二步：union all 拉链表和临时表update（加上新增和更新的数据）,并导入到tmp表；
使用union all 进行上下合并（union会去重）；
+
insert overwrite tmp select * from (以上sql) ;
最终结果：
第三步：将结果临时表temp 覆盖原始拉链表
在更新拉链表时，可能会失败，而在sql中使用到了原始拉链表，如果再覆盖原始拉链表，数据容易出问题；
所以对生成的结果存在最终临时表tmp中，然后再覆盖到原表；
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/89187.html
