php - 使用 file_get_contents 在提取 RSS 提要而不是常规 URL 时会使内存过载？

Question

我正在从 Yahoo RSS 中挖掘一些数据，但它似乎会造成内存泄漏？这是相当集市。我使用相同的代码对多个来源进行数据挖掘，但 Yahoo RSS 提要是唯一一个使内存过载的来源。这是代码的简化版本，但基本上如果您在多个实例中运行它，它最终会导致服务器崩溃，因为它会耗尽内存:

while(1) {
   $get_rss = file_get_contents("https://feeds.finance.yahoo.com/rss/2.0/headline?s=AAPL&region=US&lang=en-US");
}

但是，如果您使用不同的源代码运行相同的代码，它运行绝对良好且稳定，例如:

while(1) {
   $get_rss = file_get_contents("http://www.marketwatch.com/news/headline/getheadlines?ticker=AAPL&countryCode=US&dateTime=&docId=&docType=2007&sequence=bb90b87a-9f6f-4d70-9a1d-b052088523f5&messageNumber=0&count=10&channelName=%2Fnews%2Fpressrelease%2Fcompany%2Fus%2Faapl&topic=&_=1460832767208");
}

任何人都可以向我解释这种行为吗？我觉得它很集市/怪异。我通常使用 curl 方法来拉取 URL 内容，但切换到此 file_get_contents 以查看其行为是否相同，确实如此。我试过简单的 xml，它也有相同的行为。我不明白？

RSS 文件是否缓存到内存中？我不明白那会如何/为什么会发生。任何有关此问题的帮助/知识将不胜感激

Answer 1

就像@NoPro 建议的那样，您获取 RSS 提要的方式非常不标准，因为它可能被视为攻击，特别是如果您在循环中运行它。第二file_get_contents manual声明它可能会失败，如果

An E_WARNING level error is generated if filename cannot be found, maxlength is less than zero, or if seeking to the specified offset in the stream fails.

因为，您只面临一个特定的 yahoo feed 问题，我想知道您是否受到雅虎服务器的速率限制或限制。它们正在延迟数据包 block 和 file_get_contents 等待更长的时间仍然驻留在内存中。

Bash 脚本比在浏览器上运行它消耗的资源更少。不幸的是，当我在我的本地机器上运行它时，我没有看到内存问题。为什么不在具有不同 IP 池的其他机器或服务器上运行一次。