我正在尝试使用 Floki 编写脚本和 HttPotion维基百科的文章文本。我的代码直到失败如下所示:
defmodule Scraper do
def start do
base = "https://en.wikipedia.org"
response = HTTPotion.get base <> "/wiki/Main_Page"
html = response.body
main_bg = Floki.find(html, ".MainPageBG")
main_bg
|> Floki.find("table tr li a")
|> Floki.attribute("href")
|> Enum.map(fn(addr) -> HTTPotion.get(base <> addr) end)
end
end
我引用了 Floki 自述文件中的内容:
html
|> Floki.find(".pages a")
|> Floki.attribute("href")
|> Enum.map(fn(url) -> HTTPoison.get!(url) end)
当我将结果通过管道传输到 Floki.attribute("href")
时我得到了一个很好的 url 路径名称列表,例如:
["/wiki/Japanese_aircraft_carrier_Hiry%C5%ABwow",
"/wiki/Boys_Don%27t_Cry_(film)wow", "/wiki/Elias_Abraham_Rosenbergwow",
"/wiki/Japanese_aircraft_carrier_Hiry%C5%ABwow",
"/wiki/Boys_Don%27t_Cry_(film)wow", "/wiki/Elias_Abraham_Rosenbergwow",
"/wiki/Wikipedia:Today%27s_featured_article/November_2015wow",
"https://lists.wikimedia.org/mailman/listinfo/daily-article-lwow",
"/wiki/Wikipedia:Featured_articleswow", "/wiki/Schloss_Krobnitzwow",
"/wiki/Prussiawow", "/wiki/Albrecht_von_Roonwow", "/wiki/Harry_Winerwow",
"/wiki/Rob_Thomas_(writer)wow", "/wiki/Of_Vice_and_Menwow",
"/wiki/Veronica_Marswow", "/wiki/Meithalunwow", "/wiki/Palestinian_peoplewow",
"/wiki/Marj_Sanurwow", "/wiki/Soma_Norodomwow",...]
但是,当 |> Enum.map(fn(addr) -> HTTPotion.get(base <> addr) end)
行出现时运行我收到此错误:
** (HTTPotion.HTTPError) {:url_parsing_failed, {:error, :invalid_uri}}
(httpotion) lib/httpotion.ex:209: HTTPotion.handle_response/1
(elixir) lib/enum.ex:977: anonymous fn/3 in Enum.map/2
(elixir) lib/enum.ex:1261: Enum."-reduce/3-lists^foldl/2-0-"/3
(elixir) lib/enum.ex:977: Enum.map/2
我看到:url_parsing_failed
,但我不明白为什么。当我尝试 Enum.map(fn(addr) -> HTTPotion.get(base <> addr)
使用列表中的各个 url 路径,它们都可以工作。
- 我的语法错误吗?
- 我是否遗漏了有关管道或枚举如何工作的信息?
- 我走的路正确吗?
根据 manukall 的回答,这是有效的:
defmodule Scraper do
def transform_url(url_or_path = "/" <> _, base), do: base <> url_or_path
def transform_url(url, _base), do: url
def start do
base = "https://en.wikipedia.org"
response = HTTPotion.get base <> "/wiki/Main_Page"
html = response.body
main_bg = Floki.find(html, ".MainPageBG")
main_bg
|> Floki.find("table tr li a")
|> Floki.attribute("href")
|> Enum.map(fn(url) -> OldRazor.transform_url(url, base) end)
|> Enum.map(fn(url) -> HTTPotion.get(url) end)
end
end
最佳答案
如果您再次仔细查看网址列表,您会注意到其中有一个绝对网址:“https://lists.wikimedia.org/mailman/listinfo/daily-article-lwow”。这不适用于 HTTPotion.get(base <> addr)
,因为它最终会请求像“https://en.wikipedia.orghttps://lists.wikimedia.org/mailman/listinfo/daily-article-lwow”这样的url。
解决这个问题的一种方法可能是编写另一个函数 transform_url
检查值是否以 /
开头然后才在其前面添加基本 url:
def transform_url(url_or_path = "/" <> _, base), do: base <> url_or_path
def transform_url(url, _base), do: url
然后您可以将其用作
...
|> Enum.map(fn(url) -> HTTPoison.get!(transform_url((url)) end)
关于url - 使用 Floki 和 HttPotion 的 Elixir 脚本无法解析 url,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33748385/