python - 序列化 C++ 对象以通过套接字发送到 Python - 最佳方法？

Question

我需要在两个不同的框架之间创建网络通信，一个用 C++ 编写，另一个用 Python 编写。

为了交换数据​​，我想在 C++ 中创建某种灵活的结构(基本上是一个结构)，它被序列化，通过套接字发送到 Python，然后反序列化.

最常用的方法是什么？我确信 Boost 可以在任何一方做到这一点，因为有 boost python，但我不想把项目要求搞得那么大。那么除了指定自己的二进制数据格式之外，是否有更小的库或任何其他优雅的解决方案？

更新:

下面是一个示例，如何使用 Google 的 protobuf 通过 将数据结构从 C++ 脚本发送到 Python 脚本>UDP。这在 Mac OS X Mavericks 上进行了测试，但在其他 Unix 系统上也应该可以正常工作。

安装protobuf

第一步当然是安装protobuf库。我用了homebrew对于主库和 pip 安装 Python 模块:

brew install protobuf
pip install protobuf

然后我使用原型(prototype)语法定义了一个非常简单的数据结构:

Filename: foo.proto

package prototest;

message Foo {
  required int32 id = 1;
  required string bar = 2;
  optional string baz = 3;
}

现在可以通过以下方式将该原型(prototype)文件转换为 C++ 和 Python 类:

protoc foo.proto --cpp_out=. --python_out=.

该文件夹现在应该包含 C++ 头文件和源文件以及 Python 代码:

├── foo.pb.cc
├── foo.pb.h
├── foo.proto
└── foo_pb2.py

让我们看一下非常基本的 C++ 代码，它旨在通过网络发送 foo 的实例，使用 UDP(到端口 5555 上的本地主机) :

Filename: send.cc

#include <sys/socket.h>
#include <arpa/inet.h>

// this is our proto of foo
#include "foo.pb.h"

int main(int argc, char **argv)
{
  struct sockaddr_in addr;

  addr.sin_family = AF_INET;
  inet_aton("127.0.0.1", &addr.sin_addr);
  addr.sin_port = htons(5555);

  // initialise a foo and set some properties
  GOOGLE_PROTOBUF_VERIFY_VERSION;
  prototest::Foo foo;
  foo.set_id(4);
  foo.set_bar("narf");

  // serialise to string, this one is obvious ; )    
  std::string buf;
  foo.SerializeToString(&buf);

  int sock = socket(PF_INET, SOCK_DGRAM, 0);
  sendto(sock, buf.data(), buf.size(), 0, (struct sockaddr *)&addr, sizeof(addr));

  return 0;
}

我是通过clang++编译的:

clang++ -o send send.cc foo.pb.cc -lprotobuf

最后，这是 Python 代码，它等待 UDP 数据包并将它们反序列化为 foo。再次声明:没有任何错误检查，这只是为了演示功能:

Filename: receive.py

import socket
from foo_pb2 import Foo

sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
sock.bind(("127.0.0.1", 5555))

foo = Foo()
while True:
    data, addr = sock.recvfrom(1024)
    foo.ParseFromString(data)
    print("Got foo with id={0} and bar={1}".format(foo.id, foo.bar))

现在我们完成了，这是最终的目录结构:

├── foo.pb.cc
├── foo.pb.h
├── foo.proto
├── foo_pb2.py
├── receive.py
├── send
└── send.cc

要测试脚本，只需运行receive.py 来监听UDP 数据包

python receive.py

并在执行 C++ 生成的 send 脚本时注意输出:

./send

Answer 1

Protocol Buffers 的继任者，Cap'n Proto , 对 C++ 和 Python 也有很好的支持。 (披露:我是 Cap'n Proto 的作者，也是 Google 发布的大部分 Protobuf 代码的作者。)