python 3.6 socket pickle 数据被截断

Question

我无法在套接字中发送我的 numpy 数组。我使用 pickle 但我的客户端 pickle 崩溃并出现此错误:pickle 数据被截断

我的服务器: 我创建了一个 numpy 数组，我想用 pickle 发送给我的客户端(它有效)

import socket, pickle
import numpy as np
from PIL import ImageGrab
import cv2


while(True):
    HOST = 'localhost'
    PORT = 50007
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.setsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF, 4096)
    s.bind((HOST, PORT))
    s.listen(1)
    conn, addr = s.accept()
    print ('Connected by', addr)

    arr = np.array([[0, 1], [2, 3]])
    printscreen_pil=ImageGrab.grab(bbox=(10,10,500,500))
    img = np.array(printscreen_pil) ## Transform to Array
    
    data_string = pickle.dumps(img)
    conn.send(data_string)

    msg_recu = conn.recv(4096)
    print(msg_recu.decode())

    conn.close()

我的客户 他有我的 numpy 数组，但我无法加载 pickle。我有这个错误。

import socket, pickle
import numpy as np

HOST = 'localhost'
PORT = 50007
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((HOST, PORT))

msg_a_envoyer = "hello".encode()
s.send(msg_a_envoyer)


while 1:
    data = s.recv(4096)
    if not data: break
    data_arr = pickle.loads(data)
    print (data_arr)
s.close()

Answer 1

问题是，如果 pickle 数据的大小 > 4096，您只会得到 pickle 数据的第一部分(因此 pickle data was truncated 您得到的消息)

您必须附加数据并仅在接收完成时对其进行 pickle，例如:

data = b""
while True:
    packet = s.recv(4096)
    if not packet: break
    data += packet

data_arr = pickle.loads(data)
print (data_arr)
s.close()

增加一个 bytes 对象的性能不是很好，但是最好将这些部分存储在一个对象列表中，然后 join。更快的变体:

data = []
while True:
    packet = s.recv(4096)
    if not packet: break
    data.append(packet)
data_arr = pickle.loads(b"".join(data))
print (data_arr)
s.close()