python - pickle 依赖失败

Question

在取消在 Linux 上创建的对象并(尝试)在 Windows 上取消取消时，我遇到了模块依赖性失败。 pickle 在 Linux 中正确解包，但在 Windows 中失败。两个系统都运行 Python 2.6。

我已经研究了 pickle 手册页(特别关注使 unpickle 环境与 pickle 环境相同)，以及这里的一些很好的建议 - 但我仍然感到困惑。大多数人建议确保 sys.modules 正确并已加载。以下是一些显示我正在尝试的片段:

pickle 代码:

...
pickle_fp = self.getPickleFile('wb')
pickler = Pickler(pickle_fp, protocol=2)
pickler.dump(archive)
pickle_fp.close()
...

在 unpickling 代码中，我添加了一行来打印 sys.modules 字典，以便我们可以看到存在的模块:

...
pickle_fp = self.getPickleFile('rb')
unpickler = Unpickler(pickle_fp)
pprint.pprint(sys.modules)
package = unpickler.load()
pickle_fp.close()
...

当我在 Linux 中运行 unpickle 时，效果很好。当我尝试在 Windows 上解压 Linux 上生成的 pickle 时，我得到:

...
ImportError: No module named photo_data

至于环境，pprint.pprint(sys.modules) 在 Linux 上生成

...
'photo_data': <module 'photo_data' from 
'/home/xxx/Desktop/PythonPhoto/photo_data.pyc'>,
...

在 Windows 上

...
'photo_data': <module 'photo_data' from                       
'C:\Users\xxx\git\PhotoManagement\Photo\src\photo_data.pyc'>,
...

所以在我看来，我的环境中有 photo_data 模块。我尝试使用不带协议(protocol)的pickle(默认为0)，并尝试运行unix2dos来剥离字符。我正式被难住了。

感谢您的帮助!

---

根据评论中的建议，我生成了最简单的不起作用的情况。我正在 pickle 的类(class)如下所示:

class photo_data:
    def __init__(self):
        self.isdir = False
        self.size = 0
        self.mtime = -(sys.maxint - 1) #Set default time to very old
        self.timestamp = datetime.datetime.strptime('1700:1:1 00:00:00', '%Y:%m:%d %H:%M:%S')
        self.gotTags = False
        self.signature = ''
        self.fileMD5 = ''
        self.userTags = ''
        self.inArchive = False
        self.candidates = []
        self.dirpaths = []
        self.filepaths = []      

class photo_collection:  #This class should be data only

    def __init__(self):
        self.host = ''
        self.path = ''
        self.photo = dict()
        self.pickle = None
        self.datasetChanged = False

    def __getitem__(self, key):
        return self.photo[key]

    def __setitem__(self, key, value):
        self.photo[key] = value

在我的用例中，photo_collection 对象被实例化，并且字典 self.photo 填充有 photo_data 的实例。在系统之间工作的最简单的情况是其中包含一张照片的目录，并且任意复杂的情况在系统内工作。在系统之间不起作用的最简单的情况是一个包含一张照片的目录和一个也包含一张照片的子目录。

根据请求，我附上了两个以 format = 0 保存的 pickle 文件。如果您比较它们，我会发现该程序以不同的顺序沿文件树下降(也许不是一个大惊喜，因为我在系统和操作系统之间复制了目录)，但除此之外，它们似乎以相同的结构打开和关闭，而不是文件 -具体数据。我不知道如何将文件上传到单独的位置，因此我将它们包含在此处。

这是 Windows 生成的 pickle:

(iphoto_data
photo_collection
p0
(dp1
S'path'
p2
S'C:\\Users\\scott_jackson\\Desktop\\phototest'
p3
sS'host'
p4
S'4DAA1001312'
p5
sS'pickle'
p6
NsS'datasetChanged'
p7
I01
sS'photo'
p8
(dp9
S'C:\\Users\\scott_jackson\\Desktop\\phototest\\img_4697.jpg'
p10
(iphoto_data
photo_data
p11
(dp12
S'isdir'
p13
I00
sS'dirpaths'
p14
(lp15
sS'filepaths'
p16
(lp17
sS'timestamp'
p18
cdatetime
datetime
p19
(S'\x07\xda\x04\x12\x124&\x00\x00\x00'
p20
tp21
Rp22
sS'gotTags'
p23
I01
sS'signature'
p24
S'9b2ca527b2bf0865d9b87ecd2a68d417'
p25
sS'fileMD5'
p26
S''
p27
sS'candidates'
p28
(lp29
sS'mtime'
p30
F1347576558.0
sS'inArchive'
p31
I00
sS'userTags'
p32
S'NA'
p33
sS'size'
p34
L6489323L
sbsg3
(iphoto_data
photo_data
p35
(dp36
g13
I01
sg14
(lp37
S'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head'
p38
asg16
(lp39
g10
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p40
tp41
Rp42
sg23
I00
sg24
g27
sg26
g27
sg28
(lp43
sg30
I-2147483646
sg31
I00
sg32
g27
sg34
I0
sbsS'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head\\img_1150.jpg'
p44
(iphoto_data
photo_data
p45
(dp46
g13
I00
sg14
(lp47
sg16
(lp48
sg18
g19
(S'\x07\xd6\x01\x01\x11\t#\x00\x00\x00'
p49
tp50
Rp51
sg23
I01
sg24
S'5925063685af0d741a23fe6d75523741'
p52
sg26
g27
sg28
(lp53
sg30
F1347751812.0
sg31
I00
sg32
g33
sg34
L538233L
sbsS'C:\\Users\\scott_jackson\\Desktop\\phototest\\060101 Nags Head'
p54
(iphoto_data
photo_data
p55
(dp56
g13
I01
sg14
(lp57
sg16
(lp58
g44
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p59
tp60
Rp61
sg23
I00
sg24
g27
sg26
g27
sg28
(lp62
sg30
I-2147483646
sg31
I00
sg32
g27
sg34
I0
sbssb.

这是 Linux 生成的 pickle:

(iphoto_data
photo_collection
p0
(dp1
S'path'
p2
S'/home/scott/phototest'
p3
sS'host'
p4
S'barney'
p5
sS'pickle'
p6
NsS'datasetChanged'
p7
I01
sS'photo'
p8
(dp9
S'/home/scott/phototest/060101 Nags Head/img_1150.jpg'
p10
(iphoto_data
photo_data
p11
(dp12
S'isdir'
p13
I00
sS'dirpaths'
p14
(lp15
sS'filepaths'
p16
(lp17
sS'timestamp'
p18
cdatetime
datetime
p19
(S'\x07\xd6\x01\x01\x11\t#\x00\x00\x00'
p20
tp21
Rp22
sS'gotTags'
p23
I01
sS'signature'
p24
S'5925063685af0d741a23fe6d75523741'
p25
sS'fileMD5'
p26
S''
p27
sS'candidates'
p28
(lp29
sS'mtime'
p30
F1347751812.0842018
sS'inArchive'
p31
I00
sS'userTags'
p32
S'NA'
p33
sS'size'
p34
I538233
sbsS'/home/scott/phototest/060101 Nags Head'
p35
(iphoto_data
photo_data
p36
(dp37
g13
I01
sg14
(lp38
sg16
(lp39
g10
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p40
tp41
Rp42
sg23
I00
sg24
g27
sg26
g27
sg28
(lp43
sg30
I-9223372036854775806
sg31
I00
sg32
g27
sg34
I0
sbsS'/home/scott/phototest/img_4697.jpg'
p44
(iphoto_data
photo_data
p45
(dp46
g13
I00
sg14
(lp47
sg16
(lp48
sg18
g19
(S'\x07\xda\x04\x12\x124&\x00\x00\x00'
p49
tp50
Rp51
sg23
I01
sg24
S'9b2ca527b2bf0865d9b87ecd2a68d417'
p52
sg26
g27
sg28
(lp53
sg30
F1347576558.5344362
sg31
I00
sg32
g33
sg34
I6489323
sbsg3
(iphoto_data
photo_data
p54
(dp55
g13
I01
sg14
(lp56
S'/home/scott/phototest/060101 Nags Head'
p57
asg16
(lp58
g44
asg18
g19
(S'\x06\xa4\x01\x01\x00\x00\x00\x00\x00\x00'
p59
tp60
Rp61
sg23
I00
sg24
g27
sg26
g27
sg28
(lp62
sg30
I-9223372036854775806
sg31
I00
sg32
g27
sg34
I0
sbssb.

请随意将这些粘贴到您最喜欢的“比较”编辑器中；我对 pickle 了解不够，无法发现问题。

预先感谢您的帮助!!

Answer 1

我通过在我的 Mac OS X 计算机上保存带有 CRLF (Windows) 行结尾的 pickle 来重现您的问题。

pickle 机械对于换行相当讲究。如果使用非二进制传输模式保存或复制 pickle(例如，使用 Windows 上的文本编辑器重新保存、使用 ASCII FTP 传输复制、从网站另存为文本文件等)，则 pickle 将添加 CR 字符后已损坏。

现在，问题出在 pickle.py 中的这一行:

module = self.readline()[:-1]

如果您提供给 Unpickler 的文件已打开 'rb' 但包含 CRLF，那么这些行将读取 module = "photo_data\r" code>，这不是有效的模块名称。导入后，错误将显示为

ImportError: No module named photo_data

在photo_data之后有一个未打印回车符(非常狡猾!)。

解决方案是确保以二进制方式传输文件，并且不要在pickle上运行unix2dos或任何类似的实用程序。或者，如果使用协议(protocol) 0(文本)pickles，则可以安全地使用 'rU'(通用换行模式)来打开 pickled 文件。

另请参阅Pickled file won't load on Mac/Linux .