docker - 在 Docker Swarm 上使用 Stunnel 保护 Redis

Question

我已将 stunnel 添加到 Redis 容器和 PHP-FPM 容器，以在 docker swarm 集群上的服务之间安全地传输应用程序数据。我找不到任何其他类似的问题，所以我想知道我在这里是否采取了错误的方法。

我在本地环境中运行了此功能，但当我将其部署到集群时它失败了。

问题

当我尝试通过执行 redis-cli -p 8001 ping

从客户端容器进行 ping 操作时

然后我收到以下错误:错误:连接被对等方重置

当我查看 stunnel 的日志时，我可以看到它接受了客户端上的连接，然后在尝试将其发送到 redis 服务器容器时失败，如下所示

2018.05.19 16:42:39 LOG5[ui]: Configuration successful
2018.05.19 16:45:19 LOG7[0]: Service [redis-client] started
2018.05.19 16:45:19 LOG5[0]: Service [redis-client] accepted connection from 127.0.0.1:41710
2018.05.19 16:45:19 LOG6[0]: s_connect: connecting 10.0.0.5:6379
2018.05.19 16:45:19 LOG7[0]: s_connect: s_poll_wait 10.0.0.5:6379: waiting 10 seconds
2018.05.19 16:45:19 LOG3[0]: s_connect: connect 10.0.0.5:6379: Connection refused (111)
2018.05.19 16:45:19 LOG5[0]: Connection reset: 0 byte(s) sent to SSL, 0 byte(s) sent to socket
2018.05.19 16:45:19 LOG7[0]: Local descriptor (FD=3) closed
2018.05.19 16:45:19 LOG7[0]: Service [redis-client] finished (0 left)

配置详细信息

这是Redis服务器上的stunnel配置

pid = /run/stunnel-redis.pid
output = /tmp/stunnel.log

[redis-server]
cert = /etc/stunnel/redis-server.crt
key = /etc/stunnel/redis-server.key
accept = redis_master:6379
connect = 127.0.0.1:6378

这是客户端的 stunnel 配置

pid = /run/stunnel-redis.pid
output = /tmp/stunnel.log

[redis-client]
client = yes
accept = 127.0.0.1:8001
connect = redis_master:6379
CAfile = /etc/stunnel/redis-server.crt
verify = 4
debug = 7

这就是我的这两个服务的 docker-stack.yml 文件的样子

php_fpm:
    build:
        context: .
        dockerfile: fpm.Dockerfile
    image: registry.github.com/hidden
    ports:
        - "8001"

redis_master:
    build:
        context: .
        dockerfile: redis.Dockerfile
    image: registry.github.com/hidden
    ports:
        - "6378"
        - "6379"
    sysctls:
        - net.core.somaxconn=511
    volumes:
        - redis-data:/data

fpm 客户端容器中 netstat -plunt 的输出

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 127.0.0.1:8001          0.0.0.0:*               LISTEN      208/stunnel4
tcp        0      0 127.0.0.11:45281        0.0.0.0:*               LISTEN      -
tcp6       0      0 :::9000                 :::*                    LISTEN      52/php-fpm.conf)
udp        0      0 127.0.0.11:43781        0.0.0.0:*                           -

redis 服务器容器中 netstat -plunt 的输出

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 127.0.0.11:39294        0.0.0.0:*               LISTEN      -
tcp        0      0 0.0.0.0:6378            0.0.0.0:*               LISTEN      8/redis-server *:63
tcp        0      0 10.0.0.14:6379          0.0.0.0:*               LISTEN      37/stunnel4
tcp6       0      0 :::6378                 :::*                    LISTEN      8/redis-server *:63
udp        0      0 127.0.0.11:44855        0.0.0.0:*                           -

我已确认主机上没有事件的防火墙。这些服务目前位于同一主机上，但它们很快将位于不同的主机上，因此需要 stunnel。

这些服务是使用docker stack命令部署的，因此会自动创建覆盖网络并将其附加到这两个服务。

有人知道为什么客户端到服务器的请求被拒绝吗？

Answer 1

终于成功了!我希望这对其他人有帮助。问题出在redis-server上的stunnel配置上，正确的配置如下:

[redis-server]
cert = /etc/stunnel/redis-server.crt
key = /etc/stunnel/redis-server.key
accept = 6379
connect = 6378

问题似乎是我在 accept 选项中使用了主机名 redis_master，将其切换到仅解决问题的端口。