请在下面找到我用来标记字符串的代码段。
strList = list(token[STRING] for token in generate_tokens(StringIO(line).readline) if token[STRING])
我收到一个错误,内容如下:-
raise TokenError, ("EOF in multi-line statement", (lnum, 0))
tokenize.TokenError: ('EOF in multi-line statement', (2, 0))
我希望忽略此类错误并能够完成标记化过程。我有很多数据,所以我可以接受因这些错误而丢失部分数据。但是,我不确定如何编写能够实现所需功能的代码。有人可以帮我解决一下代码吗?
谢谢。
编辑1:-
尝试
except tokenize.TokenError:
pass
我收到以下错误消息
except tokenize.TokenError:
NameError: name 'tokenize' is not defined
最佳答案
请注意,您的错误消息显示为tokenize.TokenError
。这就是您的代码引发的Exception
类型。要捕获错误,请使用 try... except
block 。要跳过错误,您只需将 pass
放入 except
block 中即可。
import tokenize
try:
strList = list(token[STRING] for token in tokenize.generate_tokens(StringIO(line).readline) if token[STRING])
except tokenize.TokenError:
pass
关于python - 如何处理标记化错误?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3399306/