linux - 使用 curl 浏览 Web 链接的所有页面

标签 linux bash shell curl

我使用:

curl http://www.alibaba.com/corporations/Electrical_Plugs_%2526_Sockets/CID13--CN------------------50--OR------------BIZ1,BIZ2/30.html | iconv -f windows-1251 | grep -o -h 'data' >>out

过滤数据并保存到out,但是链接有67页,如何浏览该链接的所有页面并保存到out

非常感谢您的帮助!

最佳答案

可以使用Httrack下载整个网站,然后使用命令行工具在本地搜索特定内容

http://www.nightbluefruit.com/blog/2010/03/copying-an-entire-website-with-httrack/

或者,您可以在 wget 中使用 -r 递归开关

http://www.gnu.org/software/wget/manual/html_node/Recursive-Retrieval-Options.html

关于linux - 使用 curl 浏览 Web 链接的所有页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22958357/

相关文章:

java - 如何更新 Couchbase 系统日期?

Linux 内核错误

.net - 如何在 Linux 上转储 .NET Core 应用程序

linux - 是否可以从网上下载文件的一部分?

linux - 递归地从文件名中删除模式而不更改路径

linux - 使用非 root 用户访问 mercurial 时出错

linux - BASH:将大小与另一个文件大小的百分比部分进行比较

linux - 是否有 grep 命令允许我 grep 多个文件夹并使用包含文件名的文本文件复制它们

ruby-on-rails - 有没有办法自动将用户添加到gitlab?

linux - 打包多个tar文件的Shell脚本(取决于日期)