python - 如何使用Scrapy获取域名?

标签 python html scrapy

我知道在 html 中有一个命令:var x = document.domain; 获取域但是我如何在 Scrapy 中实现它以便我可以获得域名?

最佳答案

您可以 extract the domain name来自 response.url:

from urlparse import urlparse

def parse(self, response):
    parsed_uri = urlparse(response.url)
    domain = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
    print domain

关于python - 如何使用Scrapy获取域名?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31994964/

相关文章:

javascript - Jquery 每个选择器与类选择器

javascript - 从本地网络访问 Gulpjs Web 服务器

python - 如何使用scrapy从站点地图中抓取修改日期已更改的url?

python - scrapy 用户超时导致连接失败

python - Pandas 中的子列表

python - 如何可视化在 pandas 中的某个位置花费的连续时间?

python - 如何在 Tkinter 应用程序上运行 unittest?

javascript - JSX 将对象传递给 React 中的 jsx 标记的值

python - 无法为输出文件 #0 写入 header - moviepy

python - psycopg2.errors.InFailedSqlTransaction : current transaction is aborted, 命令被忽略,直到事务 block 结束