mongodb - pymongo cursor getMore 需要很长时间

Question

我的 python 脚本迭代数据集所花费的时间让我遇到了问题。数据集大约有 40k 个文档。这足以导致 pymongo 游标发出多个内部提取并从开发人员那里抽象出来。我尽可能简化了我的脚本来演示问题:

from pymongo import Connection
import time

def main():
    starttime = time.time()
    cursor = db.survey_answers.find()
    counter=0;
    lastsecond=-1;
    for entry in cursor:
        if int(time.time()-starttime)!=lastsecond:
            print "loop number:", counter, "   seconds:",int(time.time()-starttime);
            lastsecond= int(time.time()-starttime)
        counter+=1;
    print (time.time()-starttime), "seconds for the mongo query to get rows:",counter;

connection = Connection(APPSERVER)#either localhost or hostname depending on test
db = connection.beacon

if __name__ == "__main__":
    main()

我的设置如下。我有 4 个独立的主机，一个运行 mongos 的 APPSERVER 和其他 3 个分片主机，每个主机都是主副本集和另外两个的辅助副本集。

我可以从其中一个分片服务器(连接指向 APPSERVER 主机名)运行它，我得到:

loop number: 0    seconds: 0
loop number: 101    seconds: 2
loop number: 7343    seconds: 5
loop number: 14666    seconds: 8
loop number: 21810    seconds: 10
loop number: 28985    seconds: 13
loop number: 36078    seconds: 15
16.0257680416 seconds for the mongo query to get rows: 41541

所以很明显这里发生了什么，游标请求的第一个批处理大小是 100，然后每个后续请求都是 4m 的数据，这对我来说似乎刚好超过 7k 个文档。并且每次获取花费 2-3 秒!!!!

我想我可以通过将我的应用程序移近 mongos 实例来解决这个问题。我在 APPSERVER 上运行了上面的代码(连接指向本地主机)希望减少网络使用....但情况更糟!

loop number: 0    seconds: 0
loop number: 101    seconds: 9
loop number: 7343    seconds: 19
loop number: 14666    seconds: 28
loop number: 21810    seconds: 38
loop number: 28985    seconds: 47
loop number: 36078    seconds: 53
53.5974030495 seconds for the mongo query to get rows: 41541

两个测试中的游标大小完全相同，这很好，但是这里每次游标获取都需要 9-10 秒!!!

我知道我有四台不同的主机需要通信，所以这不可能是即时的。但我需要迭代可能有 1000 万条记录的集合。以每 7k 2 秒计算，这将花费 不到一个小时!我不能要这个!

顺便说一句，我是 python/mongo 世界的新手，我习惯了 php 和 mysql，我希望它能在几分之一秒内处理:

$q=mysql_query("select * from big_table");//let's say 10m rows here ....
$c=0;
while($r=mysql_fetch_rows($q))
    $c++;
echo $c." rows examined";

有人可以解释一下我介绍的 pymongo(约 1 小时)和 php/mysql(<1 秒)方法之间的巨大差异吗？谢谢!

Answer 1

我在 A. Jesse Jiryu Davis 的帮助下解决了这个问题。原来我没有安装 C 扩展。我想在没有分片的情况下运行另一个测试，这样我就可以排除网络延迟问题。我得到了一个全新的干净主机，设置了 mongo，导入了我的数据，并运行了我的脚本，它花费了相同的时间。所以我知道分片/副本集与问题没有任何关系。

修复之前，我能够打印:

pymongo.has_c(): False
pymongo version 2.3

然后我关注了instructions安装 c 扩展的依赖项:

yum install gcc python-devel

然后我重新安装了pymongo驱动:

git clone git://github.com/mongodb/mongo-python-driver.git pymongo
cd pymongo/
python setup.py install

我重新运行我的脚本，它现在打印:

pymongo.has_c(): True
pymongo version 2.3+

与上面的 16 秒相比，运行大约需要 1.8 秒。获取 40k 条记录并迭代它们似乎仍然很长，但这是一个显着的改进。

我现在将在我的生产(分片、副本集)环境中运行这些更新，希望能看到相同的结果。

**更新** 我在我的生产环境中更新了我的 pymongo 驱动程序并且有一个改进，虽然没有那么多。几次测试大约需要 2.5-3.5 秒。我认为分片性质是这里的错误。迭代超过 40k 条记录似乎仍然非常慢。