python - 将 .txt 数据分组到数据框中

Question

我有一个包含如下数据的 .txt 文件:

[12.06.17, 13:18:36] Name1: Test test test
[12.06.17, 13:20:20] Name2 ❤️: blabla
[12.06.17, 13:20:44] Name2 ❤️: words words words
words
words
words
[12.06.17, 13:29:03] Name1: more words more words
[12.06.17, 13:38:52] Name3 Surname Nickname: 👍🏼
[12.06.17, 13:40:37] Name1: message?

请注意，消息前可以有多个名称，也可以出现多行消息。在过去的几天里，我已经尝试了很多方法，将数据分成“日期”、“时间”、“名称”、“消息”组。

我能够弄清楚，正则表达式

(.)(\d+\.\d+\.\d+)(,)(\s)(\d+:\d+:\d+)(.)(\s)([^:]+)(:)

能够捕获消息之前的所有内容(参见:https://regex101.com/r/hQlgeM/3)。但我不知道如何添加消息，以便将多行消息分组到上一条消息中。

最后:如果我能够使用正则表达式从 .txt 中捕获每个组，我如何将每个组实际传递到单独的列中。过去三天我一直在查看示例，但我仍然无法弄清楚如何最终构建此数据框。

我尝试使用的代码:

df = pd.read_csv('chat.txt', names = ['raw'])

data = df.iloc[:,0]

re.match(r'\[([^]]+)\] ([^:]+):(.*)', data)

另一个失败的尝试:

input_file = open("chat.txt", "r", encoding='utf-8')

content = input_file.read()

df = pd.DataFrame(content, columns = ['raw'])

df['date'] = df['raw'].str.extract(r'^(.)(\d+\.\d+\.\d+)', expand=True)

df['time'] = df['raw'].str.extract(r'(\s)(\d+:\d+:\d+)', expand=True)

df['name'] = df['raw'].str.extract(r'(\s)([^:]+)(:)', expand=True)

df['message'] = df['raw'].str.extract(r'^(.)(?<=:).*$', expand=True)

df

Answer 1

一个完整的解决方案看起来像

import pandas as pd
import io, re

file_path = 'chat.txt'
rx = re.compile(r'\[(?P<date>\d+(?:\.\d+){2}),\s(?P<time>\d+(?::\d+){2})]\s(?P<name>[^:]+):(?P<message>.*)')
col_list = []
date = time = name = message = ''

with io.open(file_path, "r", encoding = "utf-8", newline="\n") as sr:
    for line in sr:
        m = rx.match(line)
        if m:
            col_list.append([date, time, name, message])
            date = m.group("date")
            time = m.group("time")
            name = m.group("name")
            message = m.group("message")
        else:
            if line:
                message += line

df = pd.DataFrame(col_list, columns=['date', 'time', 'name', 'message'])

图案细节

• \[ - 一个 [字符
• (?P<date>\d+(?:\.\d+){2}) - 组“日期”:1 位以上数字，然后重复 . 两次和两位数
• ,\s - ,和一个空格
• (?P<time>\d+(?::\d+){2}) - 组“时间”:1+ 位数字，然后 : 重复两次和两位数
• ]\s - ]和一个空格
• (?P<name>[^:]+) - 组“名称”:: 以外的一个或多个字符
• : - 冒号
• (?P<message>.*) - 组“消息”:任何 0+ 个字符，尽可能多，直到行尾。

那么，逻辑如下:

• 读入一行并根据模式进行测试
• 如果匹配，则初始化四个变量 - 日期、时间、姓名和消息 - 详细信息
• 如果下一行与模式不匹配，则认为它是消息的一部分，因此附加到 message变量。