如何使用hadoop -cp S3://<-cp>hdfs:/tmp
如何使用hadoop -cp S3://<-cp>hdfs:/tmp
提问于 2014-09-29 19:25:16
我想将一个文件从s3桶复制到hdfs。我是am复制使用上述命令。但是，如何在java代码中使用它将文件从s3复制到hdfs。我能够实现filesystem.copyFromLocal和版权，但不能实现-cp。我怎么才能把这个。任何帮助。谢谢。
回答 1
Stack Overflow用户
回答已采纳
发布于 2014-09-30 03:28:11
您要寻找的是org.apache.hadoop.fs.FileUtil，它拥有所有的文件系统命令。例如，参见这里：http://hadoop.apache.org/docs/current/api/src-html/org/apache/hadoop/fs/FileUtil.html#line.285
您还可以考虑使用s3distcp进行优化，以便将文件从S3复制(并连接)到HDFS，反之亦然
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/26107338
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号