我目前正在用 scrapy 编写一个爬虫。我想抓取网站上显示的所有文本,不是单个页面,而是所有子页面。我正在使用 CrawlSpider,因为我认为它也是为了抓取其他页面而设计的。这是我到目前为止编写的代码:
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.exporters import XmlItemExporter
class MySpider(CrawlSpider):
name = 'eship2'
allowed_domains = ['tlk-energy.com']
start_urls = ['http://www.tlk-energy.com']
rules = [Rule(LinkExtractor(), callback='parse_item', follow=True)] # Follow any link scrapy finds (that is allowed).
def parse_item(self, response):
item = dict()
item['url'] = response.url
item['title'] = response.meta['link_text']
item['body'] = '\n'.join(response.xpath('//text()').extract())
return item
我得到的输出非常适合我的愿望,但我仍然有很多像这样的制表符和空格:
> Wärmepumpen- Klimakreislauf E-Fahrzeug
>
>
>
>
>
>
>
>
>
>
>
>
>
> Projektbeschreibung
>
> Nulla at nulla justo, eget luctus tortor. Nulla facilisi. Duis aliquet
> egestas purus in blandit. Curabitur vulputate, ligula lacinia
> scelerisque tempor, lacus lacus ornare ante, ac egestas est urna sit
> amet arcu.
还有一些像这样的文字:
(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
})(window,document,'script','https://www.google-analytics.com/analytics.js','ga');
ga('create', 'UA-77796939-1', 'auto');
ga('send', 'pageview');
我只想要一个文件,例如显示网站文本的 xml,也可能是找到文本的 url。
最佳答案
您需要添加一些后处理来清除结果:
要从结果中删除 JavaScript 和 CSS 文本,请使用以下命令:
结果 = 响应.xpath( '//*[not(self::script 或 self::style)]/text()' ).extract()
然后应用
strip
和if
删除空行:text = "".join([x.strip() for x in results if x.strip()])
关于python - Scrapy CrawlSpider 输出带有空格和函数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51023512/