python - 检查 url 是否与网站相关

Question

我有来自各个网站的 url 的大 DataFrame。我想检查它与哪个网站相关。定义网站的特征是它的根 url 从额外信息中清除(例如，对于 http://www.agpu.net/ 根 url 将是 agpu.net/p>

所以主要目标是找到给定 url 与哪个根相关。例如，http://www.mordgpi.ru/ 应该得到标签 mordgpi.ru 而不是 gpi.ru。这也不适用于根网页 url，例如 https://www.mordgpi.ru/our-life/news/46/55116/

url 的数据集如下所示:

url
---------------------
http://pnu.edu.ru/ru/
https://www.dvfu.ru/
http://donstu.ru/
http://www.elsu.ru/
http://ivgpu.com/
http://ivanovo.ac.ru/
http://www.isuct.ru/  

对于根:

root
-------------
pnu.edu.ru/ru
dvfu.ru
donstu.ru
elsu.ru
ivgpu.com
ivanovo.ac.ru
isuct.ru

对于给定的 url，我尝试按照以下方式获取 root，但这效果不佳:

root = roots['root'].str.lower().apply(lambda x: x in url).to_frame()
root = root[root.root]

我可以用正则表达式或其他方式实现吗？感谢任何帮助

Answer 1

为此，您可以在 python 2.7 中使用 urlparse 或在 python 3+ 中使用 urllib.urlparse:

from urllib import parse
split = parse.urlsplit(url)
netloc = split.netloc
path = split.path
if netloc.startswith('www.'):
    netloc = netloc[4:]
print(netloc + path.rstrip('/'))

通过所有测试用例。

我使用 urllib 的原因是当您有长查询字符串和高级 url 格式(包括端口等)时，正则表达式可能很难看。我让 urllib 处理它，以便您可以轻松获取 netloc 和 path。