国内视频手机在线观看-欧美精品视频在线观看第一页-日本高清免费不卡在线-在线观看精品国产-国产精品第12页-欧美日韩亚洲国产欧美电影-日韩欧美亚洲一区精选

新聞中心

• 運(yùn)營知識(shí) | 國內(nèi)各大搜索引擎蜘蛛有哪些？

  　　搜搜引擎蜘蛛是一個(gè)自動(dòng)抓取互聯(lián)網(wǎng)上網(wǎng)頁內(nèi)容的程序，每個(gè)搜索引擎都有自己的蜘蛛。

  　　搜索引擎蜘蛛也叫搜索引擎爬蟲、搜索引擎robot。

  　　國內(nèi)各大搜索引擎蜘蛛名稱：

  　　百度：百度spider

  　　谷歌：googlebot

  　　搜狗：sogou spider

  　　搜搜：Sosospider

  　　360搜索：360Spider

  　　有道：YodaoBot

  　　雅虎：Yahoo Slurp

  　　必應(yīng)：msnbot

  　　Msn:msnbot

  　　以上是常見的搜索引擎蜘蛛(爬蟲)，如果你的網(wǎng)站不想讓讓某些蜘蛛抓取，那么可以通過robots.txt來限制爬蟲的抓取。