python - 使用 python 抓取网站

标签 python web-scraping beautifulsoup scrapy libraries

我刚刚开始使用Python。我正在尝试网络抓取一个网站以从中获取价格和标题。我已经浏览了多个教程和博客,最常见的库是 beautiful soup 和 scrapy我的问题是有没有办法在不使用任何库的情况下抓取网站? 如果有一种方法可以在不使用任何第三方库(例如beautifulsoup和scrapy)的情况下抓取网站。 它可以使用内置库 请向我推荐博客、文章或教程,以便我学习

最佳答案

您可以使用 urllib 而不是使用 scrapy

您可以使用正则表达式代替beautifulsoup

但是 scrapybeautifulsoup 让你的生活更轻松。

Scrapy,不是一个简单的库,因此您可以使用requestsurllib

关于python - 使用 python 抓取网站,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62287967/

相关文章:

python - 合并 2 个列表时 pd.DataFrame() 失败

python - 反射(reflect)远程服务错误代码的异常

python-2.7 - 使用scrapy的FormRequest没有提交表单

javascript - DOM 准备好后立即开始抓取 Nightmarejs

html - 来自 10-K EDGAR 的网页抓取风险因素

python - 为什么这个网络抓取不能在 python 上运行?

python - BeautifulSoup 导入错误

python - 龙精湛的 opengl 示例的 python 中的 lookat 矩阵乘法函数是什么?

python - 无法在数据框中以自定义方式存储输出

python - 是否可以在 Windows 上安装 wkhtmltopdf Python 包?