你好,
我有一个包含 1 个表和 3 个字段的简单 MySQL 数据库
表:链接
字段:ID
URL
STATUS
该表有大约 300 万个链接。
我想检查所有 URL 并在状态字段中发布它们的返回状态,以便稍后删除无效链接。
这可能需要一个 shell 脚本,因为它需要运行很长时间。
我认为 CURL header 可能提供检查状态代码的最佳方法,但我不知道如何将它们放在一起。对上述问题的任何帮助或对更好的处理方法的建议将不胜感激。
谢谢。
最佳答案
我宁愿以千次为单位分批执行此操作,而不是在 bash 中执行此操作,我宁愿使用 PHP 或 Perl(或您选择的任何其他脚本语言,例如 Python)执行此操作。
PHP 有 fopen这将完成 CURL 的工作,因此您不必为每个链接检查生成单独的系统调用。在 PHP 和 Perl 中,MySQL 连接几乎也是原生的。
关于mysql - 使用 CURL 和 shell 脚本验证 mysql 数据库中 URL 的状态,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/3220771/