python - python3上的scrapy如何获取在javascript上工作​​的文本数据

标签 python web-scraping scrapy web-crawler

https://www.reddit.com/r/gameofthrones/

enter image description here

在此页面中,我尝试从某些时间文本(例如“14 天前”)获取时间信息。

在浏览器中,当我将鼠标点移动到该文本时,它会显示基于日期时间的信息。但如果我查看网页源,却找不到它。所以我认为它是基于 Javascript 工作的。

我不是网络开发人员,我不确定如何追踪问题。

我的问题是:如何使用 chrome 开发工具和 scrapy shell 跟踪基于 javascript 的数据工作?

最佳答案

$ scrapy shell https://www.reddit.com/r/gameofthrones/ 

...

>>> response.css('[data-click-id="timestamp"]::text').get()
'15 days ago'

关于python - python3上的scrapy如何获取在javascript上工作​​的文本数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54817969/

相关文章:

python - python的Web3端口是否完全实现了Web3 API?

javascript - 如何将scrapyjs功能集成到Scrapy项目中

python - 如何更改 ItemLoader 的选择器

Python 和正则表达式

python - 如何为单元测试模拟 .mpg 文件?

node.js - 尝试获取网站内容时请求被拒绝

python - 如何使用crawlspider跳转到下一页?

python - 如何使用scrapy从页面中提取所有href内容

python - 如何读取具有特定字符串的文件的最后 n 行?

excel - 如何使用excel vba获取href属性