shell - cron 作业的容错能力如何?

标签 shell hadoop cron hive apache-pig

我正在使用 cron 作业每 2 分钟安排一个 shell 脚本,其中包含 pig 和 hive 脚本。我想知道容错 cron 作业的容错性如何,假设如果在作业运行时网络出现故障或某些文件损坏,cron 作业会做什么?它会再次重新启动该 shell 脚本还是会发生什么。我在互联网上没有得到任何关于此的信息。如果你们能帮忙,那就太好了。 谢谢

最佳答案

Oozie 使用 DAG 并在启动共享它的多个脚本时检查数据可用性。 Oozie 允许您更轻松地处理 Pig 和 Hive 作业的依赖项。由于它与 Yarn 集成在一起,您将不那么担心炸毁集群。

如果数据损坏,cron 将不执行任何操作,它将等待下一个执行周期。此外,您可能会用 cron 很容易地填写问题,这可能会导致作业执行时间更长。

关于shell - cron 作业的容错能力如何?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38306798/

相关文章:

bash - scp 和远程 mkdir -p

php - 从终端验证启用 SSL 的网站

hadoop - 如何更改每个作业的 io.sort.mb?

performance - 如何使用hadoop mapreduce比较两个大型数据集?

azure - 每天凌晨 1 点运行 azure 函数的 Cron 表达式

php - CRON 的行为就像在浏览器中运行脚本一样?

linux - 将查找结果设置为变量,其中包含变量

python - django-cms apphook url 不适用于使用 Python shell 的 reverse()

hadoop - 在 yarn 集群模式 AccessControlException 上执行 Spark

php - 带有 curl 命令的 cron 守护进程正在发送空电子邮件