api - 使用维基百科 API 获取维基百科文章的第一个链接

Question

我遇到了以下问题:Get the first link in a Wikipedia article not inside parentheses我正在努力得到同样的结果。

但是，我引用的问题中的特权方法是解析整个维基百科页面以获得所需的链接。

我更愿意使用wikipedia API但我遇到了一个主要问题:我不知道如何(或者是否可能)按页面中的外观对链接进行排序。

我现在的请求如下:

http://en.wikipedia.org/w/api.php?action=query&titles=United_States&prop=links&pllimit=max

Answer 1

嗯，看来使用 API 无法做到这一点。所以我用 Python 和 BeautifulSoup 编写了一个解析器。这是实现:

import urllib2
from bs4 import BeautifulSoup

template = "https://wikipedia.org"    

def isValid(ref,paragraph):
   if not ref or "#" in ref or "//" in ref or ":" in ref:
      return False
   if "/wiki/" not in ref:
      return False
   if ref not in paragraph:
      return False
   prefix = paragraph.split(ref,1)[0]
   if prefix.count("(")!=prefix.count(")"):
      return False
   return True

def validateTag(tag):
   name = tag.name
   isParagraph = name == "p"
   isList = name == "ul"
   return isParagraph or isList

def getFirstLink(wikipage):
   req = urllib2.Request(template+wikipage, headers={'User-Agent' : "Magic Browser"})
   page = urllib2.urlopen(req)
   data = page.read()
   soup = BeautifulSoup(data)
   soup = soup.find(id="mw-content-text")
   for paragraph in soup.find_all(validateTag, recursive=False):
      for link in paragraph.find_all("a"):
         ref = link.get("href")
         if isValid(str(ref),str(paragraph)):
            return link
   return False

如果您想了解有关此项目的更多信息，请参阅包含完整源代码的 github 页面:https://github.com/ChrisJamesC/wikipediaPhilosophy