在我的hive环境中有300多个表。我想将Hive中的所有表导出到Oracle/MySql,包括元数据。
我的Oracle数据库没有任何与这些Hive表相对应的表。
如果表不存在,则从Oracle到Hive的Sqoop导入会在Hive中创建表。
但是从Hive到Oracle的Sqoop导出如果不存在,则不会创建表,并且会因异常而失败。
Sqoop中是否也有导出元数据的选项?或
有没有其他Hadoop工具可以让我做到这一点?
提前感谢
发布于 2016-10-27 13:06:15
您要求的功能不在Spark中。不幸的是,我也不知道目前有什么hadoop工具可以做你所要求的事情。一种可能的解决方法是在Hive中使用"show create table mytable“语句。它将返回create table语句。您可以通过awk手动或实用地解析它,并在一个文件中创建表,然后针对您的oracle数据库运行此文件。在那里,您可以使用sqoop来填充表。
这不会很有趣。
发布于 2016-10-27 14:35:24
不能在关系型数据库中复制元数据或在Hive表的基础上创建表。
表必须在RDBMS中才能执行sqoop导出。
为甚麽呢?
从RDBMS到Hive的映射很容易,因为hive只有很少的数据类型(10-15)。从多个RDBMS数据类型到Hive数据类型的映射很容易实现。但反之亦然,并不那么容易。典型的RDBMS有数百种数据类型(在不同的RDBMS中数据类型也是不同的)。
另外,sqoop导出也是新添加的功能。这个特性可能会在将来出现。
https://stackoverflow.com/questions/40273255
复制相似问题