大家都见过,FTP文件结构很特殊,一层一层的嵌套,我们如果想要收集这些文件,该怎么做呢?
可能大家都知道wget,对没错,今天它就是主角。
wget安装,比较简单,下载:https://eternallybored.org/misc/wget/
具体的安装,请把下载的exe文件放到 C:\ Windows/system32里面,当然也可以放到自己喜欢的地方,但是要写系统环境变量,看自己喜好。安装好,打开CMD,进入控制台就可以测试wget-help,看看是否安装成功。
wget的使用,如果使用过Linux的话,经常有,例如:
wget http://www.baidu.com/(地址的内容)
这是最简单的。Windows也是一样的。
如果是国外的资源,Windows系统,wget本地下载10Kb每秒,可以使用代理功能。
例如,我们要下载美国航空航天局NASA的内容:
下面文件夹中很多内容,我们都要下载,该怎么办呢?递归啊,遍历啊!
wget -e https_proxy=127.0.0.1:1080 -q -nH -r -l0 -c -N -np -R 'index*' -erobots=off --retr-symlinks C: https://xxx(此处填写地址路径)
(这里用了代理服务器,如果没有代理服务器请将https_proxy=127.0.0.1:1080删除,如果使用代理,要和自己上网设置的代理端口保持一致)
上述代码具体的指令就不多说了,可以看官方的文档。
如果要下载多个,我们就可以在Windows上写BAT脚本来批量处理。
最后,就耐心的等待吧!
本作品采用 署名-非商业性使用-禁止演绎 4.0 国际(CC BY-NC-ND 4.0) 进行许可
这个教程很不错
@叶先生博客 多谢肯定