AWS 免费套餐中的 Hadoop?

标签 hadoop amazon-web-services

对于 Java 类期末项目,我们需要设置 Hadoop 并实现 n-gram 处理器。我找到了许多“AWS 上的 Hadoop”教程,但不确定如何在保持免费套餐的同时部署 Hadoop。我刚才试过,收到了超过 250 美元的账单。现在我太紧张了,无法测试,希望得到帮助,以确保我不会再付一笔钱。

据我了解,这些是免费套餐的限制: 允许的实例:t1.micro 或 t2.micro 每月最大实例小时数:750 操作系统:EC2 上的标准价格版本的 Linux 或 Windows 存储:30 GB 的 EBS 许多 Hadoop 教程使用的实例不是上面显示的这两个实例。 The AWS tutorial here提到它将花费大约 1 美元,并表示它将运行一个小时。我需要让这个/这些实例保持事件状态超过 2 周,但一次只真正使用它们几分钟。我不相信我会超过这 750 小时的十分之一。

如果我们使用“超过1台机器”,我们可以获得奖励积分。我可以在免费套餐内这样做吗?免费套餐对其可以启动的实例数量有限制吗?

有没有人有留在免费套餐中的教程?或者我应该跳过 AWS 并尝试本地 Hadoop 解决方案吗?

最佳答案

如果您只想将 hadoop 集群节点限制为 t2.micro 实例并将总 EBS 卷大小限制为 30 GB,那么您可以 [理论上] 在免费套餐中运行 hadoop 集群。请注意,t2.micro 上的硬件很少。

关于 AWS 上免费套餐的一点是,您每月只能使用 t2.micro 750 小时。这意味着您可以在一个月内免费运行 10 个节点 75 小时,之后您需要付费。

这是一篇用 4 个节点“Spinning Up a Free Hadoop Cluster: Step by Step”完全满足您要求的帖子。所以你应该能够在免费限制内运行这个集群大约 1 周

关于AWS 免费套餐中的 Hadoop?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33836518/

相关文章:

ruby - Amazon EMR 的 ruby​​ 流脚本中需要外部库

django - 重启数据库服务器不能再被web服务器访问

amazon-web-services - SES 错误缺少最终 '@domain'

amazon-web-services - 将数据从 Hive 写入 Amazon S3,同时保持表分区目录结构

amazon-web-services - AWS SAM CLI 在构建、打包和部署期间忽略我的 Python 依赖项

hadoop - 使用子查询连接 HIVE 中的两个表

java - NoRouteToHostException 而 hadoop fs -copyFromLocal

amazon-web-services - 使用 ECS Fargate 进行服务发现

hadoop - gzip 数据的压缩/解压缩在 Hadoop/PIG 中是否透明?

hadoop - DataNode 未在任何节点上启动