13402889413技术博客

13402889413： 使用 robots.txt 控制搜索引擎对网站的访问和索引

　　如果网站上有一些页面不想被别人从搜索引擎搜索到，我们可以通过编写 robots.txt 文档来对搜索引擎的行为进行控制。　　robots.txt 是业界的标准，它让网站能够所有者控制搜索引擎访问他们的网站。通过定义 robots.txt 的内容，可以实现不同层次地控制访问，比... 全文

2015-07-12 23:49 来自版块 - 站长技能提升