import multiprocessing
import time
import pycurl
class Bot(multiprocessing.Process):
def __init__(self):
multiprocessing.Process.__init__(self)
self.c = pycurl.Curl()
def run(self):
pass
if __name__ == '__main__':
Bot().start()
此代码在 Ubuntu 13.04 x64 上运行良好,但在 Windows 7 x64/Server 2008 x64 上失败。我使用 pyCurl 7.19.0 和 Python 2.7。 错误是:
Z:\bot>python test.py
Traceback (most recent call last):
File "test.py", line 74, in <module>
Bot().start()
File "C:\Python27\lib\multiprocessing\process.py", line 104, in start
self._popen = Popen(self)
File "C:\Python27\lib\multiprocessing\forking.py", line 244, in __init__
dump(process_obj, to_child, HIGHEST_PROTOCOL)
File "C:\Python27\lib\multiprocessing\forking.py", line 167, in dump
ForkingPickler(file, protocol).dump(obj)
File "C:\Python27\lib\pickle.py", line 224, in dump
self.save(obj)
File "C:\Python27\lib\pickle.py", line 331, in save
self.save_reduce(obj=obj, *rv)
File "C:\Python27\lib\pickle.py", line 419, in save_reduce
save(state)
File "C:\Python27\lib\pickle.py", line 286, in save
f(self, obj) # Call unbound method with explicit self
File "C:\Python27\lib\pickle.py", line 649, in save_dict
self._batch_setitems(obj.iteritems())
File "C:\Python27\lib\pickle.py", line 681, in _batch_setitems
save(v)
File "C:\Python27\lib\pickle.py", line 313, in save
(t.__name__, obj))
pickle.PicklingError: Can't pickle 'Curl' object: <pycurl.Curl object at 0x00000
00002360478>
Z:\bot>Traceback (most recent call last):
File "<string>", line 1, in <module>
File "C:\Python27\lib\multiprocessing\forking.py", line 347, in main
self = load(from_parent)
File "C:\Python27\lib\pickle.py", line 1378, in load
return Unpickler(file).load()
File "C:\Python27\lib\pickle.py", line 858, in load
dispatch[key](self)
File "C:\Python27\lib\pickle.py", line 880, in load_eof
raise EOFError
EOFError
为什么会发生这种情况?
最佳答案
在 posix 系统上,multiprocessing
通过使用 fork()
系统调用来工作,该系统调用克隆正在运行的进程及其所有状态(包括复杂类的实例等内容) ,例如pycurl.Curl
)。
Windows 没有 fork()
或类似的东西,因此 multiprocessing
为每个子进程启动一个新的 python 解释器,并使用一个特殊的 stub 函数来监听到父进程并重新创建状态,使其看起来很像使用了 fork()
。多处理为此使用的关键技术是,它在使用时从父进程重新创建子进程中的每个对象。这是通过将对象转换为字节码表示形式(使用 pickle
模块),通过管道将它们发送到子级,然后将它们转换回 python 对象来实现的。
对于大多数类型的 python 对象,这都可以完美工作,并且对您来说是透明的。有许多明显的事情是不可能起作用的;打开的文件不能以这种方式传递;非 python 库对象的状态也不能,它们对 pickle
系统一无所知。不幸的是,pycurl
兼具了这两点。
关于python - PyCurl。 Windows x64 上的 'Can' t pickle Curl 对象'错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16650594/