如何只镜像一个网站的一部分?
我不能让wget镜像网站的一部分(根下的文件夹path) – 它似乎只能从网站的主页上工作。
我已经尝试了很多select – 这里是一个例子
wget -rkp -l3 -np http://somewebsite/subpath/down/here/
虽然我只想镜像URL下的内容链接,但我还需要下载不在该path中的所有页面资源。
它似乎工作正常的主页( /
),但我不能得到它的任何子文件夹。
使用--mirror
( -m
)和--no-parent
( -np
)选项,再加上一些很酷的选项,就像这个例子:
wget --mirror --page-requisites --adjust-extension --no-parent --convert-links --directory-prefix=sousers http://stackoverflow.com/users
我通常使用:
wget -m -np -p $url
我使用pavuk来完成镜像,因为从一开始这似乎更好。 你可以使用这样的东西:
/usr/bin/pavuk -enable_js -fnrules F '*.php?*' '%o.php' -tr_str_str '?' '_questionmark_' \ -norobots -dont_limit_inlines -dont_leave_dir \ http://www.example.com/some_directory/ >OUT 2>ERR