c - Nginx 代理模块和套接字描述符传递

Question

我正在实现一个将套接字描述符传递给工作进程进行处理的服务器。它使用 sendmsg 系统调用通过 UNIX 套接字发送它们。服务器本身可以监听 UNIX 套接字或 INET 套接字。我把它放在 nginx 后面有问题。当我的服务器在 INET 套接字上运行时，一切正常。但是代理不能通过 UNIX 套接字工作。 nginx 报告:

readv() failed (104: Connection reset by peer) while reading upstream

一个简单的 Python 脚本可以毫无问题地接收数据:

import sys
import socket
sock = socket.socket(socket.AF_UNIX)
sock.connect(sys.argv[1])
while 1:
    data = sock.recv(1024)
    if not data: break
    print data

这是一个最小的例子。请注意，取消注释两个注释行可以解决问题。

#include <time.h>
#include <sys/socket.h>
#include <sys/un.h>

const char response[] =
    "HTTP/1.0 200 OK\r\n"
    "Content-Type: text/plain\r\n"
    "Content-Length: 4\r\n"
    "\r\n"
    "test";

int main(int argc, char** argv)
{
    struct msghdr msg;
    msg.msg_name = 0;
    msg.msg_namelen = 0;
    struct iovec iov;
    char c;
    iov.iov_base = &c;
    iov.iov_len = 1;
    msg.msg_iov = &iov;
    msg.msg_iovlen = 1;
    char control[CMSG_SPACE(sizeof(int))];
    msg.msg_control = control;
    msg.msg_controllen = sizeof(control);
    struct cmsghdr* cmsg_ptr = CMSG_FIRSTHDR(&msg);
    int pair[2];
    socketpair(AF_UNIX, SOCK_STREAM, 0, pair);
    if (fork()) {
        close(pair[1]);
        cmsg_ptr->cmsg_level = SOL_SOCKET;
        cmsg_ptr->cmsg_type = SCM_RIGHTS;
        cmsg_ptr->cmsg_len = CMSG_LEN(sizeof(int));
        int listen_fd = socket(AF_UNIX, SOCK_STREAM, 0);
        unlink(argv[1]);
        struct sockaddr_un address;
        address.sun_family = AF_UNIX;
        strncpy(address.sun_path, argv[1], sizeof(address.sun_path) - 1);
        bind(listen_fd, (struct sockaddr*)(&address), SUN_LEN(&address));
        chmod(argv[1], 0666);
        listen(listen_fd, SOMAXCONN);
        for (;;) {
            int conn_fd = accept(listen_fd, 0, 0);
            *(int*)(CMSG_DATA(cmsg_ptr)) = conn_fd;
            sendmsg(pair[0], &msg, 0);
/*             sleep(1); */
            close(conn_fd);
        }
    } else {
        close(pair[0]);
        for (;;) {
            recvmsg(pair[1], &msg, 0);
            int conn_fd = *(int*)(CMSG_DATA(cmsg_ptr));
            write(conn_fd, response, sizeof(response));
/*             shutdown(conn_fd, SHUT_WR); */
            close(conn_fd);
        }
    }
    return 0;
}

我在 linux 上使用 nginx/0.7.62。我应该深入研究 nginx 还是误解了描述符传递？

Answer 1

sleep() 不是必需的 - 但是 shutdown() 是正确的。解决方法是您的子进程在看到来自 nginx 的文件结尾之前不应关闭 conn_fd:

write(conn_fd, response, ...);

/* Tell client no more data is forthcoming */
shutdown(conn_fd, SHUT_WR); 

/* Read until client also closes */
while (read(conn_fd, buffer, sizeof buffer) > 0)
{
    /* ... */
}

/* Now we can close */
close(conn_fd);

“Connection reset by peer”是操作系统通知 nginx 您的应用程序在看到 nginx 发送的所有内容之前关闭了套接字 - 这里的“所有内容”包括流的逻辑结束，而不仅仅是数据字节。