我想使用 Python 抓取以下 url 的一些数据。 http://www.hankyung.com/stockplus/main.php?module=stock&mode=stock_analysis_infomation&itemcode=078340
这是关于公司信息的汇总。
我要抓取的内容没有显示在第一页上。 通过单击名为“재무제표”的选项卡,您可以访问财务报表。然后单击名为“현금흐름표”的选项卡,您可以访问“现金流量”。
我想抓取“现金流”数据。
但是,现金流量数据是由 javascript 跨 url 生成的。 以下链接是隐藏的网址,http://stock.kisline.com/compinfo/financial/main.action?vhead=N&vfoot=N&vstay=&omit=&vwidth=
现金流量数据是通过向此 url 提交一些选项值和 cookie 生成的。
如您所见,第一个链接中的itemcode=078340表示股票代码,我要收集现金流数据的股票多达1680只。我想让它成为一个循环结构。
是否有抓取现金流数据的好方法? 我试过 scrapy,但 scrapy 很难处理我已经在使用的另一个抓取代码。
最佳答案
还有 dryscape (我写的一个库,所以推荐有点偏,显然 :) 它使用基于 Webkit 的快速内存浏览器来导航。它也理解 Javascript,但比 Selenium 轻量级得多。
关于javascript - 使用 Python 抓取 javascript 生成的数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10052465/