我使用:
curl http://www.alibaba.com/corporations/Electrical_Plugs_%2526_Sockets/CID13--CN------------------50--OR------------BIZ1,BIZ2/30.html | iconv -f windows-1251 | grep -o -h 'data' >>out
过滤数据并保存到out
,但是链接有67页,如何浏览该链接的所有页面并保存到out
。
非常感谢您的帮助!
最佳答案
可以使用Httrack下载整个网站,然后使用命令行工具在本地搜索特定内容
http://www.nightbluefruit.com/blog/2010/03/copying-an-entire-website-with-httrack/
或者,您可以在 wget 中使用 -r 递归开关
http://www.gnu.org/software/wget/manual/html_node/Recursive-Retrieval-Options.html
关于linux - 使用 curl 浏览 Web 链接的所有页面,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22958357/