hadoop - 如何让 mahout 与 hadoop HDFS 交互

标签 hadoop machine-learning mahout

我使用的是 HDP mahout 0.8 版。我已经设置了 MAHOUT_LOCAL=""。当我运行 mahout 时,我看到消息 HADOOP LOCAL NOT SET RUNNING ON HADOOP 但我的程序没有将输出写入 HDFS 目录。

谁能告诉我如何让我的 mahout 程序从 HDFS 获取输入并将输出写入 HDFS?

最佳答案

您是否设置了 $MAHOUT_HOME/bin$HADOOP_HOME/bin在路径上?

例如在 Linux 上: export PATH=$PATH:$MAHOUT_HOME/bin/:$HADOOP_HOME/bin/ export HADOOP_CONF_DIR=$HADOOP_HOME/conf/

然后,几乎所有 Mahout 的命令都使用选项 -i(输入)和 -o(输出)。

例如:

mahout seqdirectory -i <input_path> -o <output_path> -chunk 64

关于hadoop - 如何让 mahout 与 hadoop HDFS 交互,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24801532/

相关文章:

hadoop - Apache Mahout 数据库到序列文件

hadoop - mapreduce 框架基于什么决定是否启动组合器

apache - 在Hadoop中找不到conf目录

python - 如何创建一个简单的梯度下降算法

python - 在 SVM 中使用特征之前如何对特征使用 L2 归一化

hadoop - Mahout 转置矩阵

hadoop - Apache Mahout-从字符串读取首选项值

python - 在 Elastic MapReduce 的分布式缓存中使用文件的问题

hadoop - 使用 sqoop 将数据从 Teradata 迁移到 Hive

machine-learning - 如何计算拉格朗日乘数以用 QP 训练 SVM