0755-83950760
13410231827

免费咨询热线：

    • 搜索引擎基本知识指导白皮书

    • 搜索引擎基本知识指导白皮书
      1.禁止搜索引擎收录的方法
      1. 什么是robots.txt文件?

          搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。               
          请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。           

      2. robots.txt文件放在哪里?

          robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

      网站 URL
       相应的 robots.txt的 URL深圳网站建设 深圳网站设计  深圳建网站   企业网站建设 提供
       
      http://www.frman.cn/
       http://www.frman.cn/robots.txt
       
      http://www.frman.cn:80/
       http://www.frman.cn:80/robots.txt
       
      http://www.frman.cn:1234/
       http://www.frman.cn:1234/robots.txt
       
      http://frman.cn/
       http://frman.cn/robots.txt
       

       


      3. 我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？

          如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。

       

       

      4. 禁止搜索引擎跟踪网页的链接，而只对网页建索引

          如果您不想搜索引擎追踪此网页上的链接，且不传递链接的权重，请将此元标记置入网页的<HEAD> 部分：
      <meta name="robots" content="nofollow">
          如果您不想百度追踪某一条特定链接，百度还支持更精确的控制，请将此标记直接写在某条链接上：
      <a href="signin.php" rel="nofollow">signin</a>
          要允许其他搜索引擎跟踪，但仅防止百度跟踪您网页的链接，请将此元标记置入网页的<HEAD> 部分：
      <meta name="Baiduspider" content="nofollow">

       

       

      5. 禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引

          要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的<HEAD>部分：
      <meta name="robots" content="noarchive">
          要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
      <meta name="Baiduspider" content="noarchive">
      注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。

       

       

      6. 我想禁止百度图片搜索收录某些图片，该如何设置？

          禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现，请参考“robots.txt文件用法举例”中的例10、11、12。

       

       

      7. robots.txt文件的格式

      "robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
      "<field>:<optional space><value><optionalspace>"
          在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下：


      User-agent:

          该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受 到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效， 在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User- agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。

       


      Disallow:

          该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被 robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help /index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问 /help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。

       


      Allow:

          该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头 的URL 是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、 /hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

      使用"*"and"$"：
      Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
      "$" 匹配行结束符。
      "*" 匹配0或多个任意字符。


      注：我们会严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，我们会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。          

       


      8. URL匹配举例

      Allow或Disallow的值
       URL
       匹配结果
       
      /tmp
       /tmp
       yes
       
      /tmp
       /tmp.html
       yes
       
      /tmp
       /tmp/a.html
       yes
       
      /tmp
       /tmphoho
       no
       

       
       
       
      /Hello*
       /Hello.html
       yes
       
      /He*lo
       /Hello,lolo
       yes
       
      /Heap*lo
       /Hello,lolo
       no
       
      html$
       /tmpa.html
       yes
       
      /a.html$
       /a.html
       yes
       
      htm$
       /a.html
       no
       

       


      9. robots.txt文件用法举例

      例1. 禁止所有搜索引擎访问网站的任何部分
      下载该robots.txt文件
       User-agent: *
      Disallow: /
       
      例2. 允许所有的robot访问
      (或者也可以建一个空文件 "/robots.txt")
       User-agent: *
      Allow: /
       
      例3. 仅禁止Baiduspider访问您的网站
       User-agent: Baiduspider
      Disallow: /
       
      例4. 仅允许Baiduspider访问您的网站
       User-agent: Baiduspider
      Allow: /

      User-agent: *
      Disallow: /
       
      例5. 仅允许Baiduspider以及Googlebot访问
       User-agent: Baiduspider
      Allow: /

      User-agent: Googlebot
      Allow: /

      User-agent: *
      Disallow: /

       
      例6. 禁止spider访问特定目录
      在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。
       User-agent: *
      Disallow: /cgi-bin/
      Disallow: /tmp/
      Disallow: /~joe/
       
      例7. 允许访问特定目录中的部分url
       User-agent: *
      Allow: /cgi-bin/see
      Allow: /tmp/hi
      Allow: /~joe/look
      Disallow: /cgi-bin/
      Disallow: /tmp/
      Disallow: /~joe/
       
      例8. 使用"*"限制访问url
      禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
       User-agent: *
      Disallow: /cgi-bin/*.htm
       
      例9. 使用"$"限制访问url
      仅允许访问以".htm"为后缀的URL。
       User-agent: *
      Allow: /*.htm$
      Disallow: /
       
      例10. 禁止访问网站中所有的动态页面
       User-agent: *
      Disallow: /*?*
       
      例11. 禁止Baiduspider抓取网站上所有图片
      仅允许抓取网页，禁止抓取任何图片。
       User-agent: Baiduspider
      Disallow: /*.jpg$
      Disallow: /*.jpeg$
      Disallow: /*.gif$
      Disallow: /*.png$
      Disallow: /*.bmp$
       
      例12. 仅允许Baiduspider抓取网页和.gif格式图片
      允许抓取网页和gif格式图片，不允许抓取其他格式图片
       User-agent: Baiduspider
      Allow: /*.gif$
      Disallow: /*.jpg$
      Disallow: /*.jpeg$
      Disallow: /*.png$
      Disallow: /*.bmp$
       
      例13. 仅禁止Baiduspider抓取.jpg格式图片
       User-agent: Baiduspider
      Disallow: /*.jpg$
       

      10. robots.txt文件参考资料
      robots.txt文件的更具体设置,请参看以下链接：
      Web Server Administrator's Guide to the Robots Exclusion Protocol
      HTML Author's Guide to the Robots Exclusion Protocol
      The original 1994 protocol description, as currently deployed
      The revised Internet-Draft specification, which is not yet completed or implemented
      2.百度搜索引擎基础知识
      从输入关键词，到百度给出搜索结果的过程，往往仅需几毫秒即可完成。百度是如何在浩如烟海的互联网资源中，以如此之快的速度将您的网站内容展现给用户？这背后蕴藏着什么样的工作流程和运算逻辑？事实上，百度搜索引擎的工作并非仅仅如同首页搜索框一样简单。

          搜索引擎为用户展现的每一条搜索结果，都对应着互联网上的一个页面。每一条搜索结果从产生到被搜索引擎展现给用户，都需要经过四个过程：抓取、过滤、建立索引和输出结果。

      抓取

             Baiduspider，或称百度蜘蛛，会通过搜索引擎系统的计算，来决定对哪些网站施行抓取，以及抓取的内容和频率值。搜索引擎的计算过程会参考您的网站在历史中的表现，比如内容是否足够优质，是否存在对用户不友好的设置，是否存在过度的搜索引擎优化行为等等。

          当您的网站产生新内容时，Baiduspider会通过互联网中某个指向该页面的链接进行访问和抓取，如果您没有设置任何外部链接指向网站中的新增内容，则Baiduspider是无法对其进行抓取的。对于已被抓取过的内容，搜索引擎会对抓取的页面进行记录，并依据这些页面对用户的重要程度安排不同频次的抓取更新工作。

          需您要注意的是，有一些抓取软件，为了各种目的，会伪装成Baiduspider对您的网站进行抓取，这可能是不受控制的抓取行为，严重时会影响到网站的正常运作。点此识别Baiduspider的真伪。

      过滤

          互联网中并非所有的网页都对用户有意义，比如一些明显的欺骗用户的网页，死链接，空白内容页面等。这些网页对用户、站长和百度来说，都没有足够的价值，因此百度会自动对这些内容进行过滤，以避免为用户和您的网站带来不必要的麻烦。

      建立索引

          百度对抓取回来的内容会逐一进行标记和识别，并将这些标记进行储存为结构化的数据，比如网页的tagtitle、metadescripiton、网页外链及描述、抓取记录。同时，也会将网页中的关键词信息进行识别和储存，以便与用户搜索的内容进行匹配。

      输出结果

          用户输入的关键词，百度会对其进行一系列复杂的分析，并根据分析的结论在索引库中寻找与之最为匹配的一系列网页，按照用户输入的关键词所体现的需求强弱和网页的优劣进行打分，并按照最终的分数进行排列，展现给用户。

          综上，您若希望通过搜索引擎为用户带来更好的体验，需要对进行您的网站严格的内容建设，使之更符合用户的浏览需求。需要您注意的是，网站的内容建设始终需要考虑的一个问题是，这对用户是否有价值。
      3.site语法查询说明
      Site语法可以使您设定搜索范围，实现更加精准的搜索。例如在百度贴吧中查找有关“深圳网站建设”的内容，可以使用“深圳网站建设 site:www.frman.cn”进行搜索。这同intitle，inurl，本质上是相同的。

      而在这些高级语法下的结果数，和常规搜索一样，都是对结果数量的估算值，并非准确数字。通过site语法查询网站内容的收录情况，并不能够作为您的网站是否优质的参照。很有可能site下的“结果数”减少了，实际被索引数却可能增加了。

             查询您的网站中有多少网页已被搜索引擎建立索引，即作为搜索引擎候选结果的数量，我们建议通过站点索引量查询工具进行，这相对site语法查询的数据会更加准确
      4.阻止个人信息在搜索引擎中出现
       个人信息一旦在网上发布，很有可能会被百度搜索引擎抓取，特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中，以下方式可以帮助您阻止个人信息在搜索结果中出现。

          如果您是在其他网站上发布的内容：

      1、在社交网站中（例如人人网，开心网等），您可以针对个人信息设置浏览权限，例如只有朋友或者自己可以浏览；如果您不愿让陌生人看到某些照片或信息，则应该慎重考虑是否公开发布这些内容。

      2、如果相关内容出现在其他网站中（例如58同城，赶集网等），您需要联系网站管理员，请求删除相关内容或者网页。当相关内容或者网页已被处理后，您可以通过百度网页投诉中心对这些网页发起快照的更新或删除流程，百度搜索引擎会在几小时内自动完成这些工作。

      温馨提示：通过百度网页投诉中心对搜索快照进行更新或删除时，请您务必确认相关内容已经变更，或网页已被删除（即网页无法访问），否则系统将无法成功实现您的请求。


          如果您是在自己的网站上发布的内容：

          请您对页面内容进行变更，或直接删除原网页（并安排设置404页面）。完成后通过百度网页投诉中心对这些网页发起快照的更新或删除流程。

       

       


       

       

    • 上一篇: 行业网站的设计的独特性    下一篇: 深圳网站设计-企业网站改版话你知