python - 带有 mrjob 的 Unicode 文件

Question

我正在尝试使用 mrjob 运行基本字符计数。该文件是一个 unicode UTF-8 文本文档，其中包含汉字等符号。当我运行字符计数时，我只得到返回的 ASCII 字符集中的符号计数。

据我了解，mrjob 处理字节文件，因此应该能够处理 unicode。知道如何进行这项工作吗？

字符计数代码:

import collections
from mrjob.job import MRJob

import pdb

class MRCharCount(MRJob):
    def __init__(self, *args, **kwargs):
        super(MRCharCount, self).__init__(*args, **kwargs)
        self.charCount = collections.Counter()

    def mapper(self, _, value):
        #value = value.decode('utf-8')
        if 0:
            yield
        self.charCount += collections.Counter(value)

    def mapper_final(self):
        for (c, count) in self.charCount.iteritems():
            #c = c.decode('utf-8')
            #pdb.set_trace()
            yield c, count

    def reducer(self, key, values):
        #key = key.decode('utf-8')
        yield key, sum(values)

if __name__ == '__main__':
    MRCharCount.run()

示例文件:

"WantedCropped/13.jpg"  " 

蘑,-'此四郡咸瀉] 郡〝"同樹之吟[』赦〝連仙〝如五嶽〝Z蟲 總輝…埃 哪沛國樹也- 山嗚〕們義丘蜴〝紫陽鳳陽盎 枝也' 衡山泰山岱山也o委篤珊白俗因‵ 本踫順!〝 一抵以一 郡名而尊』冠〕，〝 夫[迥及砷洲咯l處嬤喵I奏 裔們彼此蕪汪一隃o4[姑聖叭}]五仰悔耐存蜘已吐琪〝 貴 天涯若北鄰 〝′ 聯盧吥以『千載重歡取硼」寫出子〝仃 『 之首) 苴〈垚思於此耳@ 仁 十] 本踫岫群屁〈屾}呱』力‵ 嚴〝'肋麻叭勘屾l支流喉巾清_I忖世鼻 { 次懸殊顯見舊本有歟. 征屾鮪以更) 例如'扣_『l屾 荳斗!閩之金釵溪踫喎、 慄沛國 郡文褶丕〞倣下十 屾







 】  【Iˋ 【】蔔lI_I(‵′l|忖|钀|ˋ| ˋ ˋ 〉_】IL 〝l



〝 咽,世揀侍皿^加〞剴]長予曰夢金懷 眸哪′博慶) .詛屾'戌… 材丕派下十世孫允石刀』懦寫予、 予_.趴更 正o

一】 蒼甫朱處派‵ 係友屾鞈忪派下廿四世孫公友 丕始遷) 其癆瞳鄢庸{父) 立以′公友一公 下五世蓀‵ 均求丕瀉肇基始淜) 紀以廿一 ll.lI屢」o 舊譜誤在公友雁者之上.啞闆荻〝'. 友一公是十』^世〝 稽穴』友蚕生於明嘉崝甲辰 即—扒』]兀一 五五如四年‵ 一世租 燃皿公居逕口』′ 是'公一兀「八七穴年‵ 其澗萋距有山〈百七十』^年

陡聶繭卯缸臟曹[囊 止喋 .寬芡一兀一 光冗 一_一」'曄__

'

对汉字计数如何工作有什么想法吗？谢谢!

Answer 1

从 MRJob documentation 中不是很明显MRJob 究竟如何解释其输入；似乎正在调用 .mapper() 并将 value 设置为输入文件中的一行，作为字节字符串。在这种情况下，当您将 value 传递给 collections.Counter() 时，它将计算行中每个字节的出现次数，而不是每个多字节字符.

因此，我希望您应该取消注释 value = value.decode('utf-8') 的行，然后它应该可以工作 - 或者至少比以前更接近工作.