python - 在 Scrapy 中利用 Beautifulsoup

Question

我用Scrapy创建了一个简单的爬虫，它从给定的链接开始，并跟踪给定的DEPTH_LIMIT内的所有链接，每次运行蜘蛛时都会调整该链接，因为项目参数。为了简单起见，该脚本会打印响应 URL。

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from NONPROF.items import NonprofItem
from scrapy.http import Request
import re

class Nonprof(CrawlSpider):
    name = "my_scraper"
    allowed_domains = ["stackoverflow.com"]
    start_urls = ["https://stackoverflow.com"]

    rules = [
        Rule(LinkExtractor(
            allow=['.*']),
             callback='parse_item',
             follow=True)
        ]

    def parse_item (self, response):
        print (response.url)

我当前的目标是从起始 URL 解析给定深度内的所有可见文本，并使用该数据进行主题建模。我过去使用 BeautifulSoup 做过类​​似的事情，但我想在我的爬虫中利用以下解析语言。

from bs4 import BeautifulSoup
import bs4 as bs
import urllib.request

def tag_visible(element):
    if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
        return False
    elif isinstance(element,bs.element.Comment):
        return False
    return True


def text_from_html(body):
    soup = BeautifulSoup(html, 'lxml')
    texts = soup.findAll(text=True)
    visible_texts = filter(tag_visible, texts)  
    return u" ".join(t.strip() for t in visible_texts)

html = urllib.request.urlopen('https://stackoverflow.com').read()
print(text_from_html(html))

我将两者集成的困难在于 BeautifulSoup 对象和来自 Scrapy 的 Response 背后的逻辑。

欢迎任何意见。

Answer 1

至少，您可以将 response.body 中包含的 HTML 源直接传递给 BeautifulSoup 进行解析:

soup = BeautifulSoup(response.body, "lxml") 

但请注意，虽然这可行，并且您可以使用 soup 来 HTML 解析所需的数据，但您并没有使用 Scrapy 的很大一部分 - Scrapy selectors ， Item Loaders 中选择器的使用如果我是你，我只会让自己熟悉 Scrapy 从 HTML 中提取数据的强大功能。