15919993369

全球主流搜索引擎蜘蛛名称和相关术语

更新时间:2020-04-08

我们在分析网站蜘蛛爬取情况的时候,经常会看到各种各样的蜘蛛抓取结果。下面我们来总结一下常见的蜘蛛都叫什么。

1.常见的Robots名称

海外常见的搜索引擎

Google Googlebot http://www.google.com

雅虎 Yahoo!Slurp http://tw.yahoo.com

MSN Msnbot http://tw.msn.com

中国常见的搜索引擎

百度 Baiduspider http://www.baidu.com

神马 YisouSpider http://www.sm.cn

360搜索 360Spider http://www.so.com

搜搜 Sosospider http://www.soso.com

有道 Youdaobot http://www.youdao.com

搜狗 Sogou web spider http://www.sogou.com

其他非中文的搜索引擎

Cuil BOT、80Legs BOT等等...

搜索引擎.jpg

1.Baiduspider

Baiduspider是百度的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


2.Googlebot

Googlebot是Google的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


3.Yahoo!Slurp

Yahoo!Slurp是雅虎的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


4.Msnbot

Msnbot是MSN的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


5.YisouSpider

YisouSpider是神马搜索的抓取程序名称。他的作用是抓取因特网上的网站,并建立索引数据库。


6.Sosospider

Sosospider是搜搜的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


7.Youdaobot

Youdaobot是有道的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


8.Sogou web spider

Sogou web spider是搜狗的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。


9.360Spider

360Spider是360的Web抓取程序的名称。他的作用是抓取因特网上的网站,并建立索引数据库。现在域名改成了so.com


搜索引擎相关术语:

1.Spam

Spam就是垃圾信息。在搜索引擎优化领域,垃圾信息包括:垃圾网站、垃圾链接、垃圾网站等。

垃圾网站:由于采取违规手段而遭到搜索引擎封杀的网站。

垃圾网站:通常指存在违规行为的网站,如:推砌关键词、隐藏关键词等。

垃圾链接:指透过非正常手段获取大量链接的行为。


2.垃圾链接制造厂

垃圾链接制造厂﹝Link spamer﹞,指那些存放大量链接的低质量网站或是网站,例如常见的链接交换程序。


3.停用词

指一些使用频繁但又没有实际意义的词语,例如:在中文里“的”、“地”、“得”等;英文里“the”、“of”、“by”等。








Copyright © 2016-2020 https://www.xundang.com 深圳市迅当网络科技有限公司 版权所有 粤ICP备16022386号-1

  • 微信号

  • 15919993369