python - 要处理的推文列表

标签 python data-science

我目前正在做这个数据科学问题,当我试图循环访问存储在经过过滤的推文列表中的每条推文时,我一直遇到一个问题,这意味着将它们发送到新函数以进一步清理.

k1_tweets_filtered 只是一个推文列表,其中删除了任何少于 20 个字符的推文。我现在要做的是将该列表发送到另一个函数以进一步处理,但它只做 1 条推文。列表被twitter搜索占用。

问题是它只对第一条推文这样做,没有别的。我需要它来处理该列表中的每条推文。查看 k1_tweets_filtered 的 len,它的 512 然后 len of processed 只显示 14。也许我的循环是错误的?

谢谢你的帮助!

代码:

k1_tweets_processed = []
for tweet in k1_tweets_filtered:
    k1_tweets_processed = pre_process(tweet_k1)
def pre_process(doc):
    doc = doc.lower()
    # getting rid of non ascii codes
    doc = remove_non_ascii(doc)

    # replacing URLs
    url_pattern = "http://[^\s]+|https://[^\s]+|www.[^\s]+|[^\s]+\.com|bit.ly/[^\s]+"
    doc = re.sub(url_pattern, 'url', doc) 

    punctuation = r"\(|\)|#|\'|\"|-|:|\\|\/|!|\?|_|,|=|;|>|<|\.|\@"
    doc = re.sub(punctuation, ' ', doc)

    return [w for w in doc.split() if len(w) > 2]

它对一条推文工作正常,但我正在尝试将整个列表发送给它,以便正确处理其中的每条推文。最终列表应该正确处理每条推文,而不仅仅是前 1 条。

最佳答案

看起来您正在将列表的值设置为函数的输出。相反,您需要在 for 循环中使用类似这样的内容添加到列表中:

for tweet in k1_tweets_filtered:   
    k1_tweets_processed.append(pre_process(tweet))

如果对您有帮助请采纳

关于python - 要处理的推文列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56094582/

相关文章:

python - 使用 python re 进行正则表达式简化

python - 比较 2 个数据框并创建一个新的

python - 读取制表符分隔的 ASCII 数据,变量由空行分隔

python - 如何借助数据透视表填充 NaN 值?

pandas - 删除非英文数据

python - 在 Pandas 中读取具有历史日期的 CSV 文件

Python-是否有一个模块可以自动从网页上抓取文章的内容?

python - 按出现次数对二元组进行排序 NLTK

python - Conda PackageNotFoundError - 无法安装包

python - 数据分析方法