有谁知道是否有识别嵌入日期的 Python 文本解析器?例如,给定一个句子
"bla bla bla bla 12 Jan 14 bla bla bla 01/04/15 bla bla bla"
解析器可以找出两个日期的出现。我知道一些 Java 工具,但是有 Python 工具吗? NTLK 会不会有点矫枉过正?
谢谢
最佳答案
这里尝试非确定性地(阅读:详尽地)解决查找日期在标记化文本中的位置的问题。它列举了所有对句子进行分区的方式(作为标记列表),分区大小从 minps
到 maxps
。
每个分区都运行到解析器中,解析器输出已解析日期的列表以及解析的标记范围。
每个解析器输出都根据标记范围的平方和进行评分(因此更喜欢从 4 个标记解析的日期而不是从 2 个标记解析的 2 个日期)。
最后,它找到并输出得分最高的解析。
算法的三个组成部分:
from dateutil.parser import parse as parsedate
def partition(lst, minps, maxps, i=0):
if lst == []:
yield []
else:
try:
for l in range(minps, maxps+1):
if l > len(lst): continue
for z in partition(lst[l:], minps, maxps, i+l):
yield [(i, lst[:l])] + z
except:
pass
def parsedates(p):
for x in p:
i, pi = x
try:
d = parsedate(' '.join(pi))
# output: (startIndex, endIndex, parsedDate)
if d: yield i, i+len(pi), d
except: pass
def score(p):
score = 0
for pi in p:
score += (pi[1]-pi[0])**2
return score
找到得分最高的解析:
def bestparse(toks, maxps=3):
bestscore = 0
bestparse = None
for ps in partition(toks, 1, maxps):
l = list(parsedates(ps))
s = score(l)
if s > bestscore:
bestscore = s
bestparse = l
return bestparse
一些测试:
l=['bla', 'bla', 'bla', '12', 'Jan', '14', 'bla', 'bla', 'bla', '01/04/15', 'bla', 'bla']
for bpi in bestparse(l):
print('found date %s at tokens %s' % (bpi[2], ','.join(map(str, range(*bpi[:2])))))
found date 2014-01-12 00:00:00 at tokens 3,4,5
found date 2015-01-04 00:00:00 at tokens 9
l=['Fred', 'was', 'born', 'on', '23/1/99', 'at', '23:30']
for bpi in bestparse(l, 5):
print('found date %s at tokens %s' % (bpi[2], ','.join(map(str, range(*bpi[:2])))))
found date 1999-01-23 23:30:00 at tokens 3,4,5,6
请注意,这在计算上可能非常昂贵,因此您可能希望在单个短语而不是整个文档上运行它。您甚至可能想要将长短语分成 block 。
另一个需要改进的地方是分区功能。如果你有先验信息,比如一个句子最多可以有多少个日期,那么划分它的方式就可以大大减少。
关于python - 文本解析 - 日期识别器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31070515/