ubuntu - 在 AWS EC2 Ubuntu 中设置 kafka.service 和 zookeeper.service

标签 ubuntu amazon-ec2 apache-kafka systemd

在我自己的 Ubuntu 20.04 机器上,用户为 kafka ,我可以成功设置以下服务文件(引用 this tutorial ):sudo vi /etc/systemd/system/zookeeper.service

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

sudo vi /etc/systemd/system/kafka.service
[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > ~/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target
然后成功启动Kafka并检查其状态:
sudo systemctl start kafka
sudo systemctl status kafka
现在我想在具有相同文件夹结构的 AWS EC2 Ubuntu 实例中进行设置:
sudo vi /etc/systemd/system/zookeeper.service
[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=ubuntu
ExecStart=/home/ubuntu/kafka/bin/zookeeper-server-start.sh /home/ubuntu/kafka/config/zookeeper.properties
ExecStop=/home/ubuntu/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target
sudo vi /etc/systemd/system/kafka.service
[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=ubuntu
ExecStart=/bin/sh -c '/home/ubuntu/kafka/bin/kafka-server-start.sh /home/ubuntu/kafka/config/server.properties > /home/ubuntu/kafka/kafka.log 2>&1'
ExecStop=/home/ubuntu/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target
ubuntu根据 AWS document 是我的 AWS EC2 Ubuntu AMI 用户名.
但是当我启动 kafka.service 时,我收到以下错误:
kafka.service
     Loaded: loaded (/etc/systemd/system/kafka.service; disabled; vendor preset: enabled)
     Active: failed (Result: exit-code) since Thu 2021-06-10 18:58:26 UTC; 7s ago
    Process: 40816 ExecStart=/bin/sh -c /home/ubuntu/kafka/bin/kafka-server-start.sh /home/ubuntu/kafka/config/server.properties > /home/ubuntu/kafka/kafka.log 2>&1 (code=exited, status=2)
   Main PID: 40816 (code=exited, status=2)

Jun 10 18:58:26 ip-xxx-xx-xx-xxx systemd[1]: Started kafka.service.
Jun 10 18:58:26 ip-xxx-xx-xx-xxx sh[40816]: /bin/sh: 1: cannot create /home/ubuntu/kafka/kafka.log: Directory nonexistent
Jun 10 18:58:26 ip-xxx-xx-xx-xxx systemd[1]: kafka.service: Main process exited, code=exited, status=2/INVALIDARGUMENT
Jun 10 18:58:26 ip-xxx-xx-xx-xxx systemd[1]: kafka.service: Failed with result 'exit-code'.
目录下~/kafka , 我没有看到文件 kafka.log .但是在我自己的机器上设置的时候,并没有遇到这个错误。
在 AWS EC2 Ubuntu 中进行设置时,我是否遗漏了什么?
更多详情 :
我刚刚意识到我的用户 ubuntu访问,我无法创建没有 sudo 的文件夹.换句话说:
$ mkdir test_folder
给我Permission denied .我要做:
$sudo mkdir test_folder
那么,我该如何修改服务文件来解决这个问题呢?

最佳答案

with my user ubuntu access, I cannot create a folder without sudo


不清楚您如何添加 ubuntu用户,但正在运行 mkdir -p /home/ubuntuec2-user不会是正确的。
您可以fix the permissions使用这些命令,但您可能需要重新访问 useradd命令选项
sudo chown -R ubuntu:ubuntu /home/ubuntu
sudo chmod -R a+rwX,o-w /home/ubuntu
您还应该更喜欢为 Kafka 和 Zookeeper 使用单独的用户帐户,而不是使用一些 ubuntu用户,如果您使用 APT 安装 Confluent Platform 会发生这种情况,例如

关于ubuntu - 在 AWS EC2 Ubuntu 中设置 kafka.service 和 zookeeper.service,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67927213/

相关文章:

apache-spark - 如果在提供给 kafka 的数据中遇到意外格式,当您重新启动 spark 作业时会发生什么

gcc - 在 Ubuntu 9.04 上安装 gcc 4.4.3

python - 为什么我的 IDE 无法识别 Python 中的构造和导出?

php - 如何在 Amazon Linux 2 CentOS7 上安装 PHP 5.56?

django - 如何在 AWS Elastic Beanstalk 上使用 virtualenv system-site-packages?

apache-kafka - 通过 kafka-configs.sh 获取代理配置

MySQL 在 Ubuntu 根文件系统中使用空间,如何更改为使用

ubuntu - 加载共享库时出错 : libX11. so.6

amazon-web-services - 我需要支付 AWS Elastic IP 费用

java - 如何在spark中将List<Objects>的byte[]解码为Dataset<Row>?