海归论坛 :: 阅读跟帖 - 一些知名Crawler比较见内

会员列表
收藏夹
论坛帮助

论坛首页 | 排行榜 | 在线私聊 | 专题 | 版规 | 搜索 | RSS | 注册 | 活动日历


主题: 另外，急求搜索引擎技术人员的帮助，分词技术，SPIDER技术等朋友，请加我MSN

海归论坛首页 -> 海归商务 -> 项目找投资与合作焦点讨论 | 精华区 | 嘉宾沙龙 | 白领丽人沙龙

分屏

表形显示

阅读上一个主题 :: 阅读下一个主题

作者

另外，急求搜索引擎技术人员的帮助，分词技术，SPIDER技术等朋友，请加我MSN

所跟贴

neo, 请问一下，目前常见的spider都是用什么实现的? -- fufu - (47 Byte) 2005-8-19 周五, 02:37 (601 reads)

neo
[博客]

头衔: 海归中校
声望: 学员

加入时间: 2004/09/23
文章: 319
来自: Toronto
海归分: 35721

标题: 一些知名Crawler比较见内 (447 reads) 时间: 2005-8-19 周五, 03:04

作者：neo 在项目找投资与合作发贴, 来自【海归网】 http://www.haiguinet.com

DNS solution:
Google: local catch
Mercator: custom
Polytechnic: adns
Language:
Google: C++/Python
Mercator: Java
Polytechnic: c++/Python
Thailand: C++
Parallelism/machine:
Google: 300
Mercator: 100
Internet Archieve: 64
Polytechnic: 1000
Thailand: 300
System size (# of machines):
Google: 4
Mercator: 4
Polytechnic: 3
Thailand: 4
Crawler order:
Google: 24 million
Mercator: 891 million
Internet Archieve: 100 million
Polytechnic: 120 million
Thailand: 400 thousand
Crawl rate(pages/sec):
Google: 48
Mercator: 600
Internet Archieve: 10
Polytechnic: 140
Thailand: 618

作者：neo 在项目找投资与合作发贴, 来自【海归网】 http://www.haiguinet.com

相关主题
QQ群号14889316：欢迎以下专业人士一起来探讨分词技术，搜索引擎技术...	海归论坛	2005-8-19 周五, 11:36
急聘: 美国硅谷搜索引擎专家在海外创办Roboo儒豹手机搜索引擎公司，以创...	海归职场	2006-8-26 周六, 14:44
美国硅谷Roboo儒豹手机搜索引擎公司，中国急聘：开发副总裁(VP)，主任...	海归职场	2006-6-13 周二, 08:04
IT招聘--国内知名搜索引擎公司-搜索研发部_多媒体内容分析高级工程师，技...	IT	2011-8-30 周二, 11:28
IT招聘--国内知名搜索引擎公司-搜索研发部_语音识别高级工程师，技术le...	海归招聘	2011-8-30 周二, 11:10
【猎头】微软招聘搜索引擎相关职位若干，机会多多	海归职场	2009-11-08 周日, 21:58
☎【猎头】搜索引擎巨头高薪诚聘战略发展专员，搜索企划专员（北京）	海归网公司招聘专栏	2009-1-15 周四, 13:51
▂▃▅▆█【猎头】招搜索引擎开发工程师，邮箱系统开发工程师（北京）	海归网公司招聘专栏	2008-11-08 周六, 18:26

返回顶端

另外，急求搜索引擎技术人员的帮助，分词技术，SPIDER技术等朋友，请加我MSN -- 文成武德周，乾坤日月明，天地正 - (30 Byte) 2005-8-18 周四, 23:01 (1885 reads)

看这样的技术是否有用? -- soushen - (97 Byte) 2005-11-06 周日, 07:14 (543 reads)

Spider或Crawler,有什么太多技术含量吗？ -- neo - (255 Byte) 2005-8-19 周五, 00:57 (446 reads)

neo, 请问一下，目前常见的spider都是用什么实现的? -- fufu - (47 Byte) 2005-8-19 周五, 02:37 (601 reads)

开源的实在很多，多数是Java为主，联结见内 -- neo - (88 Byte) 2005-8-19 周五, 04:13 (927 reads)

多谢neo,等我有空玩一下，放几只爬虫出来。 :) -- fufu - (0 Byte) 2005-8-19 周五, 07:52 (408 reads)

一些知名Crawler比较见内 -- neo - (703 Byte) 2005-8-19 周五, 03:04 (447 reads)

分词只是第一步，分词后要语法分析，把句子变成范式， -- 对门子 - (40 Byte) 2005-8-19 周五, 00:39 (340 reads)

显示文章:

海归论坛首页 -> 海归商务 -> 项目找投资与合作焦点讨论 | 精华区 | 嘉宾沙龙 | 白领丽人沙龙

所有的时间均为北京时间

您不能在本论坛发表新主题, 不能回复主题, 不能编辑自己的文章, 不能删除自己的文章, 不能发表投票, 您 不可以 发表活动帖子在本论坛, 不能添加附件可以下载文件,

热门标签

更多...

论坛精华荟萃

更多...

博客热门文章

更多...