使用 gcsfuse 挂载谷歌存储时 Docker 构建失败

标签 docker google-cloud-storage google-cloud-sql gcloud gcsfuse

我一直在尝试将 SQL 和存储桶安装到我的 docker WordPress 容器中。它似乎成功安装 SQL,但未能安装存储桶。该实例基于 this post .

我在下面附上了 Docker 文件和错误,以及我的构建命令。

构建命令:

docker build -t ic/spm .

Dockerfile:

FROM wordpress
MAINTAINER Gareth Williams <gareth@itinerateconsulting.com>

# Move login creds locally
ADD ./creds.json /creds.json

# install sudo, wget and gcsfuse
ENV GCSFUSE_REPO=gcsfuse-jessie
RUN   apt-get update && \
      apt-get -y install sudo && \
      apt-get install -y curl ca-certificates && \
      echo "deb http://packages.cloud.google.com/apt $GCSFUSE_REPO main" > /etc/apt/sources.list.d/gcsfuse.list && \
      curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add - && \
      apt-get update && \
      apt-get install -y gcsfuse wget && \
      apt-get remove -y curl --purge && \
      apt-get autoremove -y && \
      rm -rf /var/lib/apt/lists/*

# Config fuse
RUN chmod a+r /etc/fuse.conf
RUN perl -i -pe 's/#user_allow_other/user_allow_other/g' /etc/fuse.conf

# Setup sql proxy
RUN sudo mkdir /cloudsql
RUN sudo chmod 777 /cloudsql
ADD https://dl.google.com/cloudsql/cloud_sql_proxy.linux.amd64 cloud_sql_proxy.linux.amd64
RUN mv cloud_sql_proxy.linux.amd64 cloud_sql_proxy && chmod +x ./cloud_sql_proxy
RUN ./cloud_sql_proxy -dir=/cloudsql -fuse -credential_file=/creds.json &
# mysql -u icroot -S /cloudsql/[INSTANCE_CONNECTION_NAME]

# Perform Cloud Storage FUSE mounting for uploads folder
RUN mkdir /mnt/uploads
RUN chmod a+w /mnt/uploads
#RUN chown www-data:www-data -R /mnt && groupadd fuse && gpasswd -a www-data fuse && chmod g+rw /dev/fuse
USER www-data
RUN gcsfuse --key-file /creds.json \
  --debug_gcs --debug_http --debug_fuse --debug_invariants \
  --dir-mode "777" -o allow_other spm-bucket /mnt/uploads

错误:

Step 17 : RUN gcsfuse --key-file /creds.json   --foreground --debug_gcs --debug_http --debug_fuse --debug_invariants   --dir-mode "777" -o allow_other spm-bucket /mnt/uploads
 ---> Running in 7e3f31221bee
Using mount point: /mnt/uploads
Opening GCS connection...
Opening bucket...
gcs: Req              0x0: <- ListObjects()
http: ========== REQUEST:
GET http://www.googleapis.com/storage/v1/b/spm-bucket/o?maxResults=1&projection=full HTTP/1.1
Host: www.googleapis.com
User-Agent: gcsfuse/0.0
Authorization: Bearer ya29.ElrQAw8oxClKt8YGvtmxhc7z2Y2LufvL0fBueq1UESjYYjRrdxukNTQqO1qfM8e8h-rqfbOWNSjVK2rCRXVrEDla-CiUVhHwT6X71Y1Djb0jDJg7z3KblgNQPrc
Accept-Encoding: gzip

http: ========== RESPONSE:
HTTP/2.0 200 OK
Content-Length: 31
Alt-Svc: quic=":443"; ma=2592000; v="35,34"
Cache-Control: private, max-age=0, must-revalidate, no-transform
Content-Type: application/json; charset=UTF-8
Date: Wed, 11 Jan 2017 09:19:05 GMT
Expires: Wed, 11 Jan 2017 09:19:05 GMT
Server: UploadServer
Vary: Origin
Vary: X-Origin
X-Guploader-Uploadid: AEnB2UpTqXhtHW906FFDTRsz4FjHjFu_E84wYhvt0zhaVFuMpqSY1fsd1XcrEcpsYBBwX1mqf0ZXRVWJH05ThtDQIfFKHd4PFw

{
 "kind": "storage#objects"
}
http: ====================
gcs: Req              0x0: -> ListObjects() (1.793169206s): OK
Mounting file system...
mountWithArgs: mountWithConn: Mount: mount: running fusermount: exit status 1

stderr:
fusermount: failed to open /dev/fuse: Operation not permitted

最佳答案

如果您在 GKE 上运行容器,并且想要使用 gcsfuse,则权限应自动在您的本地帐户中继承。另外......还有一个警告,您需要确保您运行的集群需要具有存储访问权限。因此,请确保您的集群已将存储权限设置为完全访问。这样 gcsfuse 可以将您的存储桶安装在容器内的 GCS 上,而不必担心传递凭证文件和所有这些东西......使得实现非常简单。

在您的 docker 文件中...确保您正在执行 apt 命令来获取和安装 gcsfuse 应用程序。

我亲自制作了一个 shell 脚本,一旦实例启动,我就会调用它,它会挂载我需要的目录。

这样的……

Docker 入口

ENTRYPOINT ["/opt/entry.sh"]

entry.sh 脚本示例

gcsfuse [gcs 存储桶名称] [要挂载的本地文件夹]

生成 GKE 集群时,请务必添加存储范围

gcloud container clusters create [your cluster name] --scopes storage-full

希望对你有所帮助。

关于使用 gcsfuse 挂载谷歌存储时 Docker 构建失败,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41588578/

相关文章:

java - 从计算引擎中的 docker 容器连接到 Cloud SQL

php - 查看和编辑 Cloud SQL 表

django - Docker中的django和send_mail导致SMTPServerDisconnected

docker - 无法使用 Docker 在 Laravel 5.4 (PHP7) 中运行 cron

google-cloud-storage - 公共(public) Google Cloud Storage 存储桶列表

google-cloud-platform - GCP 存储 - 未提供签名 key

mysql - 在灵活的环境中将 Google App Engine 与 Google Cloud Storage 连接起来

php - 如何使用docker-compose将用户上传的文件保存到已安装的卷中?

java - 在 docker compose 文件中访问 Spring boot 应用程序属性

google-cloud-storage - 无法将 Dataproc 集群用于具有 GCS 的多用户,且用户访问权限受到限制