之前已说了robots.txt是什么还有网站优化中robots的优点什么的，今日咱们鞍山网站优化就共享下robots.txt写法和浅谈下robots.txt语法的效果，期望对咱们有点协助!
robots.txt写法大全和robots.txt语法的效果
示例1
假如答应一切搜索引擎拜访网站的一切有些的话 咱们能够树立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
robots.txt写法如下：
User-agent: *
Disallow:
或许
User-agent: *
Allow: /
示例2
假如咱们制止一切搜索引擎拜访网站的一切有些的话
robots.txt写法如下：
User-agent: *
Disallow: /
示例3
假如咱们需求某一个搜索引擎的抓取的话，比方baidu，制止baidu索引咱们的网站的话
robots.txt写法如下：
User-agent: Baiduspider
Disallow: /
示例4
假如咱们制止Google索引咱们的网站的话，本来跟示例3相同，就是User-agent:头文件的蜘蛛名字改成google的Googlebot
即可
robots.txt写法如下：
User-agent: Googlebot
Disallow: /
