首页 > SEO问答 > 有哪些方法可以不让搜索引擎抓到某些网页
2017
05-17

有哪些方法可以不让搜索引擎抓到某些网页

答:我们知道,搜索引擎是通过蜘蛛程序自动访问互联网上的网页,然后沿着网页上的链接不断地抓取资料,从而建立起数据库。如果不希望网站的一些内容被robots抓取,可以使用robots.txt和robots meta标签。要注意的是,robots.txt文件应该被放在网站的根目录,且文件名必须全部小写。


留下一个回复

你的email不会被公开。