dygotf技术博客

dygotf： wordpress站点关于robots.txt文件的书写

[tr][td]安装完wordpress站点后关于robots.txt文件的书写一直烦恼着很多站长，Robots.txt文件协议又叫搜索引擎机器人协议，搜索引擎爬虫在爬取网站的时候，首先会看网站根目录下是否有robots.txt文件，然后遵循robots.txt协议爬取网站主希望... 全文

2015-07-28 14:04 来自版块 - WordPress教程