网站收录10招鲜

1、通过 robots.txt 和爬虫对话：
搜索引擎发现一个新站，原则上第一个访问的就是 robots.txt 文件，可以通过 allow/disallow 语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取。

关于 robots.txt 的详细介绍：about /robots.txt另外需要注意的是：allow/disallow 语法的顺序是有区别的
2、通过 meta tag 和爬虫对话：比如有的时候我们希望网站列表页不被搜索引擎收录但是又希望搜索引擎抓取，那么可以通过 ＜meta content=“noindex，follow”＞告诉爬虫，其他常见的还有 noarchive，nosnippet，noodp 等。
3、通过 rel=“nofollow” 和爬虫对话：关于 rel=“nofollow”
4、通过 rel=“canonical” 和爬虫对话：关于 rel=“canonical” 谷歌网站站长工具帮助有很详细的介绍：深入了解 rel=“canonical”
5、通过网站地图和爬虫对话：比较常见的是 xml 格式 sitemap 和 html 格式 sitemap，xml 格式 sitemap 可以分割处理或者压缩压缩，另外，sitemap 的地址可以写入到 robots.txt 文件。
6.通过网站管理员工具和搜索引擎对话：我们接触最多的就是谷歌网站管理员工具，可以设定 googlebot 抓取的频率，屏蔽不想被抓取的链接，控制 sitelinks 等，另外，Bing 和 Yahoo 也都有管理员工具，百度有一个百度站长平台，内测一年多了仍旧在内测，没有邀请码无法注册。
7、在百度贴吧、百度知道等百度产品吸引蜘蛛，百度知道就是直接带文章链接了，百度贴吧就需要一段话然后加入链接。
8、在论坛的蜘蛛区引蜘蛛，像seowhy和站长之家都有专门的引蜘蛛的地方，可以在这里发帖，带上更新文章的链接
9、利用博客引蜘蛛，特别是百度空间效果应该更加好一点，毕竟是百度的产品。
10、去流量比较大的独立博客也是一种好的引蜘蛛方法，提交自己的评论，带上链接就OK了。
这里面还衍生出一个概念，就是我一直比较重视的网站收录比，所谓网站收录比=网站在搜索引擎的收录数/网站真实数据量，网站收录比越高，说明搜索引擎对网站的抓取越顺利。

论坛做外链白皮教言