python - 我如何去一个随机的网站？ - Python

Question

如何生成一个随机但有效的网站链接，而不考虑语言。实际上，它生成的网站语言越多样化越好。

我一直通过在他们的网页上使用其他人的脚本来做到这一点，我怎么能不依赖这些随机的网站转发脚本而自己制作呢？。我一直这样做:

import webbrowser
from random import choice
random_page_generator = ['http://www.randomwebsite.com/cgi-bin/random.pl',
                         'http://www.uroulette.com/visit']
webbrowser.open(choice(random_page_generator), new=2)

Answer 1

I've been doing it by using other people's script on their webpage, how can i not rely on these random site forwarding script and make my own?

有两种方法:

• 创建您自己的 spider收集了大量网站，然后从该集合中进行选择。
• 访问一些预先存在的网站集合，然后从该集合中进行选择。例如，DMOZ/ODP 让您可以 download their entire database ;* Google 曾经有一个自定义的随机站点 URL；** 等等。

没有其他解决方法(除了随机生成和测试任意字符的有效字符串，这是一个可笑的坏主意)。

为自己构建网络蜘蛛可能是一个有趣的项目。链接驱动的抓取库，如 Scrapy可以为您做很多繁重的工作，让您写下您关心的部分。

---

* 请注意，与 Google 或 Yahoo 之类的数据库相比，ODP 是一个非常小的数据库，因为它主要是重要网站的人工编辑集合，而不是任何人放在网络上的所有内容的自动生成集合。

** Google 的随机站点功能是由受欢迎程度和您自己的搜索历史驱动的。然而，通过给它一个空的搜索历史，你可以删除等式的那一部分。不管怎样，我认为它不存在了。