python - 将 Pandas 中的句子拆分为句号和单词

Question

我有一个像这样的 Pandas 数据框:

Text            start    end    entity     value
I love apple      7       11    fruit      apple
I ate potato      6       11    vegetable  potato

我试过使用for循环 它运行缓慢，我认为这不是我们应该对 pandas 做的事情。

我想基于此创建另一个 pandas 数据框:

Sentence#         Word        Tag
  1                I         Object 
  1               love       Object
  1               apple      fruit
  2                I         Object
  2               ate        Object
  2               potato     vegetable

将文本列拆分为单词和句子编号。除了实体词，其他词都将被标记为对象。

Answer 1

使用split、stack 和map:

u = df.Text.str.split(expand=True).stack()

pd.DataFrame({
    'Sentence': u.index.get_level_values(0) + 1, 
    'Word': u.values, 
    'Entity': u.map(dict(zip(df.value, df.entity))).fillna('Object').values
})

   Sentence    Word     Entity
0         1       I     Object
1         1    love     Object
2         1   apple      fruit
3         2       I     Object
4         2     ate     Object
5         2  potato  vegetable

旁注:如果运行 v0.24 或更高版本，please use .to_numpy() instead of .values .