我有句子列表,我想创建skipgram (窗口大小= 3)
,但我不希望计数器跨越句子,因为它们都是不相关的。
所以,如果我有句子:
[["my name is John"] , ["This PC is black"]]
三胞胎将是:
[my name is]
[name is john]
[this PC is]
[PC is black]
最好的方法是什么?
最佳答案
这是一个简单的函数来做到这一点。
def skipgram(corpus, window_size = 3):
sg = []
for sent in corpus:
sent = sent[0].split()
if len(sent) <= window_size:
sg.append(sent)
else:
for i in range(0, len(sent)-window_size+1):
sg.append(sent[i: i+window_size])
return sg
corpus = [["my name is John"] , ["This PC is black"]]
skipgram(corups)
关于python - 如何为句子列表创建窗口/ block ?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53928957/