复制Hive表 – 编码无悔 / Intent & Focused https://www.codelast.com 最优化之路 Wed, 25 Mar 2026 09:49:41 +0000 zh-Hans hourly 1 https://wordpress.org/?v=6.9.4 批量复制历史日期的Hive表 https://www.codelast.com/%e6%89%b9%e9%87%8f%e5%a4%8d%e5%88%b6%e5%8e%86%e5%8f%b2%e6%97%a5%e6%9c%9f%e7%9a%84hive%e8%a1%a8/ https://www.codelast.com/%e6%89%b9%e9%87%8f%e5%a4%8d%e5%88%b6%e5%8e%86%e5%8f%b2%e6%97%a5%e6%9c%9f%e7%9a%84hive%e8%a1%a8/#respond Wed, 25 Mar 2026 09:49:41 +0000 https://www.codelast.com/?p=14221 如果Hive表的分区是日期，并且每天数据不大，那么如果想批量把某一天的数据复制出多天的数据，最快的方法可能是直接复制磁盘文件，然后再用一行命令处理一下即可。

（1）先找到Hive表所在的HDFS目录，假设我们想用 2026-03-20 的数据复制出 2026-03-21 的数据，则：

hadoop fs -cp /path/to/your/hive/table/hdfs/dir/date=2026-03-20 /path/to/your/hive/table/hdfs/dir/date=2026-03-21

（2）光复制目录没用，数据仍然是查询不到的，需要用在Hive命令行交互模式下，执行以下命令让复制出来的数据"生效"

msck repair table 表名;

该命令用于修复表的元数据。
直接在 HDFS 上创建了分区目录，但未通过 ALTER TABLE ADD PARTITION 命令注册到 Hive 元数据中，运行msck命令后，这些分区会被自动发现并添加到元数据。… Read More

]]> 如果Hive表的分区是日期，并且每天数据不大，那么如果想批量把某一天的数据复制出多天的数据，最快的方法可能是直接复制磁盘文件，然后再用一行命令处理一下即可。

（1）先找到Hive表所在的HDFS目录，假设我们想用 2026-03-20 的数据复制出 2026-03-21 的数据，则：

hadoop fs -cp /path/to/your/hive/table/hdfs/dir/date=2026-03-20 /path/to/your/hive/table/hdfs/dir/date=2026-03-21

（2）光复制目录没用，数据仍然是查询不到的，需要用在Hive命令行交互模式下，执行以下命令让复制出来的数据"生效"

msck repair table 表名;

该命令用于修复表的元数据。
直接在 HDFS 上创建了分区目录，但未通过 ALTER TABLE ADD PARTITION 命令注册到 Hive 元数据中，运行msck命令后，这些分区会被自动发现并添加到元数据。

]]> https://www.codelast.com/%e6%89%b9%e9%87%8f%e5%a4%8d%e5%88%b6%e5%8e%86%e5%8f%b2%e6%97%a5%e6%9c%9f%e7%9a%84hive%e8%a1%a8/feed/ 0