我们可以将weka.jar存储在hdfs上,然后从映射器和reducer类调用它的方法吗?
假设我在一个文件中存储了大量实例,并希望使用WEKA对它们进行集群。我可以读取这些实例,然后从我的map-reduce程序调用weka的SVM方法吗?
发布于 2012-07-15 05:07:46
您不必手动将其存储在HDFS上。相反,当您运行作业时,您可以使用-libjars jar1、jar2...选项,以便自动将所需的jar分发给所有映射器,并自动将这些jar包含在所有映射器的类路径中。
另一种选择(尽管第一个代表标准)是将WEKA jar包含在hadoop安装的lib目录中。
https://stackoverflow.com/questions/11446052
复制相似问题