首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何将Hive中的数据和元数据传输到RDBMS

问如何将Hive中的数据和元数据传输到RDBMS
EN

Stack Overflow用户
提问于 2016-10-27 06:40:31
回答 2查看 830关注 0票数 0

在我的hive环境中有300多个表。我想将Hive中的所有表导出到Oracle/MySql,包括元数据。

我的Oracle数据库没有任何与这些Hive表相对应的表。

如果表不存在,则从Oracle到Hive的Sqoop导入会在Hive中创建表。

但是从Hive到Oracle的Sqoop导出如果不存在,则不会创建表,并且会因异常而失败。

Sqoop中是否也有导出元数据的选项?或

有没有其他Hadoop工具可以让我做到这一点?

提前感谢

EN

回答 2

Stack Overflow用户

发布于 2016-10-27 13:06:15

您要求的功能不在Spark中。不幸的是,我也不知道目前有什么hadoop工具可以做你所要求的事情。一种可能的解决方法是在Hive中使用"show create table mytable“语句。它将返回create table语句。您可以通过awk手动或实用地解析它,并在一个文件中创建表,然后针对您的oracle数据库运行此文件。在那里,您可以使用sqoop来填充表。

这不会很有趣。

票数 1
EN

Stack Overflow用户

发布于 2016-10-27 14:35:24

不能在关系型数据库中复制元数据或在Hive表的基础上创建表。

表必须在RDBMS中才能执行sqoop导出。

为甚麽呢?

从RDBMS到Hive的映射很容易,因为hive只有很少的数据类型(10-15)。从多个RDBMS数据类型到Hive数据类型的映射很容易实现。但反之亦然,并不那么容易。典型的RDBMS有数百种数据类型(在不同的RDBMS中数据类型也是不同的)。

另外,sqoop导出也是新添加的功能。这个特性可能会在将来出现。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/40273255

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档