全球主流搜索引擎蜘蛛名称和相关术语

我们在分析网站蜘蛛爬取情况的时候，经常会看到各种各样的蜘蛛抓取结果。下面我们来总结一下常见的蜘蛛都叫什么。

1.常见的Robots名称

海外常见的搜索引擎

Google Googlebot http://www.google.com

雅虎 Yahoo!Slurp http://tw.yahoo.com

MSN Msnbot http://tw.msn.com

中国常见的搜索引擎

百度 Baiduspider http://www.baidu.com

神马 YisouSpider http://www.sm.cn

360搜索 360Spider http://www.so.com

搜搜 Sosospider http://www.soso.com

有道 Youdaobot http://www.youdao.com

搜狗 Sogou web spider http://www.sogou.com

其他非中文的搜索引擎

Cuil BOT、80Legs BOT等等...

1.Baiduspider

Baiduspider是百度的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

2.Googlebot

Googlebot是Google的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

3.Yahoo!Slurp

Yahoo!Slurp是雅虎的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

4.Msnbot

Msnbot是MSN的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

5.YisouSpider

YisouSpider是神马搜索的抓取程序名称。他的作用是抓取因特网上的网站，并建立索引数据库。

6.Sosospider

Sosospider是搜搜的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

7.Youdaobot

Youdaobot是有道的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

8.Sogou web spider

Sogou web spider是搜狗的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。

9.360Spider

360Spider是360的Web抓取程序的名称。他的作用是抓取因特网上的网站，并建立索引数据库。现在域名改成了so.com

搜索引擎相关术语：

1.Spam

Spam就是垃圾信息。在搜索引擎优化领域，垃圾信息包括：垃圾网站、垃圾链接、垃圾网站等。

垃圾网站：由于采取违规手段而遭到搜索引擎封杀的网站。

垃圾网站：通常指存在违规行为的网站，如：推砌关键词、隐藏关键词等。

垃圾链接：指透过非正常手段获取大量链接的行为。

2.垃圾链接制造厂

垃圾链接制造厂﹝Link spamer﹞，指那些存放大量链接的低质量网站或是网站，例如常见的链接交换程序。

3.停用词

指一些使用频繁但又没有实际意义的词语，例如：在中文里“的”、“地”、“得”等；英文里“the”、“of”、“by”等。