mysql - 使用 CURL 和 shell 脚本验证 mysql 数据库中 URL 的状态

标签 mysql curl shell http-status-codes

你好,

我有一个包含 1 个表和 3 个字段的简单 MySQL 数据库

表:链接
字段:ID URL STATUS

该表有大约 300 万个链接。
我想检查所有 URL 并在状态字段中发布它们的返回状态,以便稍后删除无效链接。

这可能需要一个 shell 脚本,因为它需要运行很长时间。
我认为 CURL header 可能提供检查状态代码的最佳方法,但我不知道如何将它们放在一起。对上述问题的任何帮助或对更好的处理方法的建议将不胜感激。

谢谢。

最佳答案

我宁愿以千次为单位分批执行此操作,而不是在 bash 中执行此操作,我宁愿使用 PHP 或 Perl(或您选择的任何其他脚本语言,例如 Python)执行此操作。

PHP 有 fopen这将完成 CURL 的工作,因此您不必为每个链接检查生成单独的系统调用。在 PHP 和 Perl 中,MySQL 连接几乎也是原生的。

关于mysql - 使用 CURL 和 shell 脚本验证 mysql 数据库中 URL 的状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3220771/

相关文章:

mysql - 类别属性的数据库模式困惑

php - "WHERE OR "在 Codeigniter PHP 的数据范围内加载数据

angularjs - TFS2013 的 REST API 调用

linux - 程序从终端运行良好,但不能从 shell 脚本运行

bash - 如何从另一个 zip 存档中压缩文件(带有模式)而不在 Linux 中解压

mysql - 如何根据多个字段删除SQL表中的重复项

mysql - SQL "Table_Name.Column_name"VS "Column_name"性能和语法

api - 将授权 header 添加到 http 请求时,cURL 中的 -u 是什么意思

php - PHP中的elasticsearch查询和cURL没有结果

mysql - 安装mysql shellscript并设置root密码