amazon-web-services - AWS EMR jupyter 密码

标签 amazon-web-services hadoop jupyter-notebook amazon-emr

我正在使用 EMR 并想使用 jupyter(ipython),所以我向集群添加了引导操作: s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook

我执行了端口隧道以从我的本地主机访问 jupyter 并且工作正常,但它要求输入登录密码,尝试为空,尝试 hadoop,但没有运气,有人知道 jypyter 密码是什么吗?

最佳答案

当我使用相同的引导操作时,我也遇到了这个问题。我试着加入 Args=[--password, jupyter]我也无法工作。那是来自 this AWS 论坛:

Name='Install Jupyter notebook',Path="s3://aws-bigdata-blog/artifacts/aws-blog-emr-jupyter/install-jupyter-emr5.sh",Args=[--r,--julia,--toree,--torch,--ruby,--ds-packages,--ml-packages,--python-packages,'ggplot nilearn',--port,8880,--password,jupyter,--jupyterhub,--jupyterhub-port,8001,--cached-install,--notebook-dir,s3://<your-s3-bucket>/notebooks/,--copy-samples]

我所做的是遵循 these instructions用于使用 CLI 直接在 EMR 实例中安装 anaconda。如果您遵循第一部分,您应该能够启动并运行它。总结一下:

  • 使用您保存的 .pem 文件通过 ssh 进入您的主 emr 实例
  • 一旦你想要使用 super 用户权限安装 anaconda:sudo wget http://repo.continuum.io/archive/Anaconda3-4.1.1-Linux-x86_64.sh .然后 bash Anaconda3–4.1.1-Linux-x86_64.sh
  • 确保您使用的是 anaconda 版本的 python:which python
  • 如果不是,请说明来源:source .bashrc
  • 现在创建一个 jupyter 配置文件:jupyter notebook --generate-config
  • cd 进入 jupyter 文件夹:cd ~/.jupyter/
  • 更新配置文件:vi jupyter_notebook_config.py
  • 在配置文件中添加以下行:

    c = get_config() c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.port = 6789 <---选择你想要的端口

  • 退出配置编辑器并通过以下方式运行 jupyter:jupyter notebook

  • 这应该运行一个没有事件内核的笔记本(目前)。但它会给你你正在寻找的 token :http://localhost:6789/?token=xxxxxx

  • 让它继续运行,然后打开一个新的终端窗口。现在您需要根据此 aws blog post 隧道连接到 EMR 实例(使端口与您在配置文件中指定的端口相同)。 ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L 8192:<<master-public-dns-name>>:8192 hadoop@<<master-public-dns-name>>

  • 在浏览器中打开 localhost:6789 应该会提示您使用 jupyter 页面输入密码或 token 。输入在上述步骤中生成的 token ,您就可以开始了。

希望对您有所帮助!可能有一种不那么复杂的方法,但这就是最终对我有用的方法。

关于amazon-web-services - AWS EMR jupyter 密码,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41173326/

相关文章:

windows - .ebignore 不跳过 node_modules (Amazon)

sql - 如何在 Hive SQL 中将与时间相关的事件组合在一起

python - 无法将 16 位数字转换为人类可读的日期

browser - 在 cmd 行的指定浏览器中启动 jupyter notebook

python - anaconda 启动器链接不起作用

amazon-web-services - 自动部署 AWS API Gateway 阶段

amazon-web-services - Kubernetes Elastic Container Registry 授权失败

amazon-web-services - 如何从执行角色有权这样做的 AWS Lambda 调用 AWS_IAM 授权的 API 网关终端节点?

hadoop - 如何为 arrywritable 的文本版本编写 compareTo() 方法

hadoop - hdfs Journal节点提供警报 “fsync latency concerning”