java - 如何将美国所有酒吧/俱乐部的 "obtain"数据写入数据库。叫喊API?

标签 java database json screen-scraping data-mining

我想做的是创建美国所有酒吧的数据库。我需要半定期(每周左右)更新此数据库以包含新开的酒吧。

yelp api 的问题是它们只会返回 20 个结果。我方圆 5 英里内有超过 800 家酒吧。我怎样才能切实实现我的目标?

最佳答案

您需要编写一个爬虫来抓取网站以获取链接结构,而不是访问每个页面并抓取列表。或者,您可以使用 API 并根据需要发出任意数量的请求来获取所有结果。

关于java - 如何将美国所有酒吧/俱乐部的 "obtain"数据写入数据库。叫喊API?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4719502/

相关文章:

java - 在 Android 应用程序中创建本地数据库

jquery - 使用选择框将 HTML 表格转换为 JSON

json - 如何将 JSON 数组保存到 mongodb 集合中

javascript - 将数据动态附加到现有的 JSON

java - FFT 返回变为 NaN 的大值

java - 在 Java 中使用 BigIntegers 作为 while 循环的条件

php - 为什么 Wordpress 创建一个巨大的 error_log 文件?

mysql - Codeigniter 偶尔出现数据库连接错误

sql-server - 建模资源所有权的最佳方式

java - Spring Webapp 与 Hibernate、注解驱动、一个又一个问题、源代码链接