绝对超过20PB! Google每天处理数据量

王朝站长·作者佚名  2011-12-19  
宽屏版  字体: |||超大  

大家知道Google是世界上访问最大的网站之一,但有谁知道它每天处理多少数据呢?

这里可以告诉你一个大致的数据,约20PB(20000TB,1TB=1024GB)。的确是非常惊人的一个数字。这些数据每天通过巨大的群集来处理,截至2007年9月,Google的集群数量已经达到11000台。

这些服务器的配置大多采用两颗英特尔至强(HT)处理器和4GB内存,两个160GB的硬盘,并采用以太网连接,每台大约在2400美元左右,以下是详细的统计表格。

MapReduce statistics for different months

Number of jobs (1000s) 29 171 2,217 completion time ()completion time () completion time ()

634

874

395

Machine years used

217

2,002

11,081

map input data ()))

3,288

52,254

403,152

map output data ()))

758

6,743

34,774

reduce output data ()))

193

2,970

14,018

machines per jobmachines per job machines per job

157

268

394

Unique implementations

map

395

1,958

4,083

reduce

269

1,208

2,418

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
© 2005- 王朝网络 版权所有