有时候我们在想,如果我们想把我们网站某个页面不想被搜索引擎抓取收录怎么办?或是不想被某个搜索引擎抓取收录,鞍山网站优化如果文件太多,在robots文件里设置又不方便,其实我们可以采用标签阻止的方式来做到这一点。
那我们如何设置阻止标签呢?
大家可以查看网页源代码可以看到在网页的 …中间 会有部分的标签,其实我们就可以利用meta标签来适当的设置
如果我们要拦截所有搜索引擎对网页的抓取收录的话,可以这样操作:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
如果我们只是想拦截某个搜索引擎,例如阻止百度蜘蛛爬取网页,而允许其他搜索引擎收录:
<META NAME="baiduspider" CONTENT="NOINDEX, NOFOLLOW">
其实就是在meta标签的name名称里写上搜索引擎爬虫的名称百度其实就是baiduspider 这些东西可以从主机日志里查看的,或是一些工具来分析!
如果允许搜索引擎收录你的网页,但禁止其追踪外部链接:
<META NAME="ROBOTS" CONTENT="NOFOLLOW"> (这个方法很多站长在使用,大家可以看看一些网站的源代码就知道了)
如果允许搜索引擎收录你的网页,但禁止其收录网页上的图片:
<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">
注:哪一个网页需要拦截或删除,就在那个网页里面添加 标签,其他页面不会受影响。鞍山网站优化 标签针对的是具体的某个网页,而不是整个网站。关于这个如何使用阻止标签就讲解这么多了,谢谢支持!