python - 即使存在 301 状态，如何获取响应文本？

Question

我用 scrapy 编写了一个脚本来从网页中获取响应文本。问题是我的脚本总是打印 None 只是因为存在 301 status。

有什么方法可以控制 301 状态并在控制台中打印响应吗？

这是我尝试过的:

import scrapy
from scrapy.crawler import CrawlerProcess

class ResponseSpider(scrapy.Spider):
    name = "transfermarkt"
    handle_httpstatus_list = [301]
    start_urls = ["https://www.transfermarkt.es/guti/profil/spieler/6079"]

    def parse(self,response):
        print(response.text)

if __name__ == "__main__":
    c = CrawlerProcess({'USER_AGENT':'Mozilla/5.0'})
    c.crawl(ResponseSpider)
    c.start()

当前打印的内容:

2019-04-29 13:39:41 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6024
2019-04-29 13:39:42 [scrapy.core.engine] DEBUG: Crawled (301) <GET https://www.transfermarkt.es/guti/profil/spieler/6079> (referer: None)

2019-04-29 13:39:43 [scrapy.core.engine] INFO: Closing spider (finished)
2019-04-29 13:39:43 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 220,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 511,
 'downloader/response_count': 1,
 'downloader/response_status_count/301': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2019, 4, 29, 7, 39, 43, 50813),
 'log_count/DEBUG': 1,
 'log_count/INFO': 9,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2019, 4, 29, 7, 39, 41, 869745)}
2019-04-29 13:39:43 [scrapy.core.engine] INFO: Spider closed (finished)

Answer 1

在这种情况下:
请求https://www.transfermarkt.es/guti/profil/spieler/6079 (url A - 301 响应)被重定向到 https://www.transfermarkt.es/zeljko-kalac/profil/spieler/6079 (url B - 200 响应)

Scrapy 默认使用 RedirectMiddleware 处理重定向 3xx 状态( docs 、 code )
要解析网页 B，您只需从代码中删除 handle_httpstatus_list = [301]

在大多数情况下，301 响应不包含 html 代码。响应 header 中包含的所有相关数据。
如果需要打印urlA的301响应中的相关数据:

1. 请勿删除handle_httpstatus_list = [301]
2. 使用 response.headers 数据而不是 response.text