我有一个在覆盖网络上运行的 docker 容器。我的要求是从不同的主机外部访问在这个容器中运行的服务。该服务绑定(bind)到容器的内部 IP 地址，并且在这种情况下将端口绑定(bind)到主机不是解决方案。
实际场景:
运行在容器内的服务是配置了yarn-client的spark driver。 spark 驱动程序绑定(bind)到容器内部 IP (10.x.x.x)。当 spark 驱动程序与运行在不同集群上的 hadoop yarn 通信时，yarn 上的应用程序主机 尝试在驱动程序的容器内部 ip 上与 spark 驱动程序通信，但由于明显的原因，它无法连接内部 IP 上的驱动程序.
请告诉我是否有办法实现从应用程序主机(yarn)到 spark 驱动程序(docker 容器)的成功通信。
群版本:1.2.5
docker info:
Containers: 3
Running: 2
Paused: 0
Stopped: 1
Images: 42
Server Version: swarm/1.2.5
Role: primary
Strategy: spread
Filters: health, port, containerslots, dependency, affinity, constraint
Nodes: 1
ip-172-30-0-175: 172.30.0.175:2375
└ ID: YQ4O:WGSA:TGQL:3U5F:ONL6:YTJ2:TCZJ:UJBN:T5XA:LSGL:BNGA:UGZW
└ Status: Healthy
└ Containers: 3 (2 Running, 0 Paused, 1 Stopped)
└ Reserved CPUs: 0 / 16
└ Reserved Memory: 0 B / 66.06 GiB
└ Labels: kernelversion=3.13.0-91-generic, operatingsystem=Ubuntu 14.04.4 LTS, storagedriver=aufs
└ UpdatedAt: 2016-09-10T05:01:32Z
└ ServerVersion: 1.12.1
Plugins:
Volume:
Network:
Swarm:
NodeID:
Is Manager: false
Node Address:
Security Options:
Kernel Version: 3.13.0-91-generic
Operating System: linux
Architecture: amd64
CPUs: 16
Total Memory: 66.06 GiB
Name: 945b4af662a4
Docker Root Dir:
Debug Mode (client): false
Debug Mode (server): false运行容器的命令:我正在使用 docker-compose 运行它:
zeppelin:
container_name: "${DATARPM_ZEPPELIN_CONTAINER_NAME}"
image: "${DOCKER_REGISTRY}/zeppelin:${DATARPM_ZEPPELIN_TAG}"
network_mode: "${CONTAINER_NETWORK}"
mem_limit: "${DATARPM_ZEPPELIN_MEM_LIMIT}"
env_file: datarpm-etc.env
links:
- "xyz"
- "abc"
environment:
- "VOL1=${VOL1}"
- "constraint:node==${DATARPM_ZEPPELIN_HOST}"
volumes:
- "${VOL1}:${VOL1}:rw"
entrypoint: ["/bin/bash", "-c", '<some command here>']最佳答案
好像yarn and spark need to be able to see the each other directly on the network .如果你能把它们放在同一个覆盖网络上，一切都可以直接通信，如果不是......
叠加
可以通过 docker_gwbridge 将数据直接路由到 Docker 节点上的覆盖网络中，所有覆盖容器都连接到但是，这是一个很大的但是，这仅在您在运行容器的 Docker 节点上时才有效。
因此在 2 个节点上运行 2 个容器 non swarm mode overlay 10.0.9.0/24 network ...
我可以 ping 通 demo0 上的本地容器，但不能 ping 通 demo1 上的远程容器
docker@mhs-demo0:~$ sudo ip ro add 10.0.9.0/24 dev docker_gwbridge
docker@mhs-demo0:~$ ping -c 1 10.0.9.2
PING 10.0.9.2 (10.0.9.2): 56 data bytes
64 bytes from 10.0.9.2: seq=0 ttl=64 time=0.086 ms
docker@mhs-demo0:~$ ping -c 1 10.0.9.3
PING 10.0.9.3 (10.0.9.3): 56 data bytes
^C
--- 10.0.9.3 ping statistics ---
1 packets transmitted, 0 packets received, 100% packet loss
然后在另一台主机上容器被反转，但它仍然是可访问的本地容器。
docker@mhs-demo1:~$ sudo ip ro add 10.0.9.0/24 dev docker_gwbridge
docker@mhs-demo1:~$ ping 10.0.9.2
PING 10.0.9.2 (10.0.9.2): 56 data bytes
^C
--- 10.0.9.2 ping statistics ---
2 packets transmitted, 0 packets received, 100% packet loss
docker@mhs-demo1:~$ ping 10.0.9.3
PING 10.0.9.3 (10.0.9.3): 56 data bytes
64 bytes from 10.0.9.3: seq=0 ttl=64 time=0.094 ms
64 bytes from 10.0.9.3: seq=1 ttl=64 time=0.068 ms
所以最大的问题是网络需要知道容器在哪里运行并相应地路由数据包。如果网络能够实现这样的路由，您可能一开始就不需要覆盖网络。
桥接网络
另一种可能性是在每个具有可路由 IP 的 Docker 节点上使用普通桥接网络。因此，每个网桥都分配了一个 IP 范围，您的网络知道该范围并且可以从任何地方路由到该范围。
192.168.9.0/24 10.10.2.0/24
Yarn DockerC
router
10.10.0.0/24 10.10.1.0/24
DockerA DockerB
这会将网络附加到每个节点。
DockerA:$ docker network create --subnet 10.10.0.0/24 sparknet
DockerB:$ docker network create --subnet 10.10.1.0/24 sparknet
DockerC:$ docker network create --subnet 192.168.2.0/24 sparknet
然后路由器通过DockerA等为10.10.0.0/24配置路由
这与 Kubernetes does its networking 的方式类似.
织网
Weave与overlay类似，它创建了一个通过UDP传输数据的虚拟网络。虽然它更像是一个通用的网络解决方案 and can integrate with a host network .
关于hadoop - 如何从不同主机外部访问在docker容器(覆盖)中运行的服务，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/39420396/