<strike id="53ptj"></strike>

    <big id="53ptj"><pre id="53ptj"></pre></big>

    <b id="53ptj"><meter id="53ptj"></meter></b>

        <dfn id="53ptj"><progress id="53ptj"></progress></dfn>
          <th id="53ptj"></th>

            <menuitem id="53ptj"><th id="53ptj"><mark id="53ptj"></mark></th></menuitem>

            <big id="53ptj"></big>

            <em id="53ptj"></em>

              武汉网络营销教你玩转robots协议

              发布时间:2018-01-30 14:30:47   次浏览

              robots爬虫协议,相信很多SEOer或个人站长都不会感到陌生,即使刚入行的SEO小白也略有耳闻。对于SEO小白来说,只是听过robots爬虫协议并不了解robots协议真正意义和用法。
                什么是robots协议
                robots(中文翻译为机器人),robots协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站点沟通的“桥梁”。网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录可以抓取,哪些文件/目录不可以抓取。
                注意:如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是,才有必要创建robots.txt文件;如果您希望搜索引擎收录网站上所有内容,则无需建立robots.txt文件。
               
               
                robots.txt文件的存放位置
                通常,网站的robots.txt文件放置在网站根目录下,便于搜索引擎爬虫第一时间抓取该文件。
               
                robots.txt文件格式
                1、robots文件通常包含以一条或多条User-agent开始,后面加上若干条Disallow或Allow。
               
                2、User-agent:用来描述搜索引擎robot的名字。
               
                3、如果存在多条User-agent记录说明有多个robot会受到"robots.txt"的限制,至少要有一条User-agent记录。
               
                4、如果User-agent的值设为*,则对任何robot均有效,且"User-agent:*"这样的记录只能有一条。
               
                5、如果有"User-agent:SomeBot"和若干Disallow、Allow行,那么搜索引擎爬虫名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
               
                6、Disallow:用来描述不希望被访问的一组URL。
               
                7、这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被 robot访问。
               
                8、比如:"Disallow:/help"这条规则表示的是禁止robot访问/help.html、/helpabc.html、/help/index.html等。
               
                9、比如:"Disallow:/help/"这条规则表示的是允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。
               
                10、"Disallow:"说明允许robot访问该网站的所有url,robots.txt文件中,至少要有一条Disallow记录。
               
                11、武汉网络营销如果网站根目录下robots.txt不存在或者为空文件,则对于所有的搜索引擎爬虫来说,该网站都是开放的。
               
                12、Allow:用来描述希望被访问的一组URL。
                13、与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL 是允许robot访问的。
               
                14、比如:"Allow:/hibaidu"这条规则表示的是允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
               
                15、使用"*"and"$":Baiduspider支持使用通配符"*"和"$"来模糊匹配url("*" 匹配0或多个任意字符,"$" 匹配行结束符)。
               
              返回新闻列表
              众酷服务
              • 全网营销推广
              • SEO
              • 网站建设
              • 新媒体推广
              • 微信运营
              在线留言

              online message

              —————— 我们的工作人员会尽快与您取得联系 ——————

              等待期间需要获取更多信息,请 继续访问联系我们
              感谢您对众酷产品及服务的支持。

              武汉众酷网络科技有限公司

              Wuhan Zhongku Netword Technology Co., Ltd

              • 公司座机:400-027-9158
              • 推广/建站:15342747576(张经理)
              • 技术咨询:15989566309(周经理)
              • 地址:武汉市东湖高新区关南园一路20号光谷梦工厂7号楼1110

              站点地图
              Copyright ? 武汉众酷网络科技有限公司 版权所有 鄂ICP备16009106号-2
              亚洲av无码一区二区三区乱码_秋霞日韩久久理论电影_天堂网在线观看_成熟yⅰn荡的美妇a片