在robots.txt中可以使用相对的网站地图url吗?
在robots.txt中,我可以为站点地图文件编写以下相对URL吗?
sitemap: /sitemap.ashx
或者,我必须使用站点地图文件的完整(绝对)url,例如:
sitemap: http://subdomain.domain.com/sitemap.ashx
为什么我想知道:
- 我拥有一个新的博客服务www.domain.com,允许用户在accountname.domain.com上进行博客。
- 我使用通配符,所以所有子域(帐户)指向:“blog.domain.com”。
在blog.domain.com,我把robots.txt让search引擎find网站地图。 但是,由于通配符,所有用户帐户共享相同的robots.txt文件。这就是为什么我不能使用第二个select。 而现在我不能使用URL重写txt文件。 (我猜想,更高版本的IIS可以处理这个?)
根据sitemaps.org上的官方文档,它需要是一个完整的URL:
您可以使用robots.txt文件指定Sitemap的位置。 为此,只需将包含完整URL的以下行添加到站点地图即可:
Sitemap: http://www.example.com/sitemap.xml