Google内部有一个私有的网站提供了一系列的关于Jeff Dean --- 这位Google最早的雇员之一以及这个网络巨人为什么比网上其他的机构能够承载更多流量的原因---的一些事情。这个网站只向Google员工开放，但是所有人都被鼓励向这个网站添加他们知道的关于Jeff Dean的事迹。很多人都提交了他们所知道的。
关于Jeff Dean的真相出现在2007年的愚人节。
“有一次在1秒钟之内验证第203个斐波那契数的测试中，Jeff Dean没有通过图灵测试”， 有一条写到
“Jeff Dean在提交代码之前编译并运行了他的代码”， 另一条写到， “但是只是检查编译器和CPU的bug“
“光在真空中的传播速度曾经是35英里/时”， 另一条写到， “于是Jeff Dean花了一个周末来优化物理学“
不， 这些“真相”比不是事实。 但是他们听上去很真实。 愚人节在Google是一个神圣的节日， 像所有的愚人节笑话一样，插科打诨总是围绕着事实周围。 一个叫Kenton Varda的Google员工建立了这个网站，playing off the satirical Chuck Norris facts that so often bounce around the net（ 这句话实在不知道咋翻译）。 当他把链接通过邮件发给公司其他人的时候，他隐藏了自己的踪迹。但是一会他就收到了Jeff Dean的提示消息，Jeff已经从Google的服务器日志里找到了他留下的电子足迹，从而追踪到他。
在Google内部，Jeff Dean被认为是威严的。 在公司外部， 很少有人听过他的名字。 但是他们应该知道。 Dean是Google构建起基础软硬件架构一个工程师小组一员， 这些架构使Google为web上有统治力的公司， 他们的发明创造酷似网上其他如雷贯耳的名字。
时光荏苒，我们再一次的回忆起施乐公司帕克研究中心（以下直接用 Xerox PARC， 不再翻译）硅谷实验室在PC的进化史上发明了几乎每一件的主要技术的往事，从用户图形界面、激光打印机到以太网和面向对象编程。但是由于google如此谨慎小心， 其最新的数据中心技术一直和竞争者分开---同时也因为像Jeff Dean这样工程师并不是自我夸耀的人 ---- google在现代计算领域的基础工作的影响并不为人所知。Google就是云计算时代的 Xerox PARC
”某段时间，当贝尔实验室和Xerox PARC这样的地方将要灭亡的时候，google很大一部分的工作就是招揽这些世界上最聪明的研究人员“。 Mike Miller，一位华盛顿大学粒子物理学合聘教授及 Cloudant（一家致力于开展研究google提出的技术的公司）的首席科学家。”它不仅抢夺他们的科学家， 而且抢夺赖以生存的生命之血“
这些google的技术不是你用双手你能hand住的---甚至无法装进书桌。 他们并不是运行在一部手机或者PC上。 他们运行在数据中心连接起来的互联网中。
这些技术包括席卷软件平台的比如 Google文件系统，MapReduce， Bigtable， 这些发明通过将一个任务分解成小块，然后分配到上千台机器中运行（就像蚁群协同工作一样）来驱动大量的在线应用。 同时他们采用了Google最新设计的用来跟他们的软件一起工作的服务器，网络设备， 数据中心。他们的想法是建立一个看起来就像单台计算机的数据仓库式的计算设备。 就像蚁群工作起来像一个整体，google的数据中心也是这样
当硅谷被社会网络和触屏设备的爆发所惊恐的时候，Google重造了这些现象背后的一些基础的东西。 很快，当其他互联网巨头碰到了在线数据的雪崩式增长的时候，他们开始跟随Google的脚步。 当重构的Google的搜索引擎，GFS和MapReduce，产生出了Hadoop--- 一个海量计算能力的数字处理平台，几乎是现在最成功的开源项目。 Bigtable则引发了NoSQL运动， 产生了服务于Web规模大小的数据库的家族编队。 当然在很多方面，Google在数据中心硬件的发展的很多方法借鉴了来自Facebook, Amazon, Microsoft以及其他公司的经验。
实话说，Google的优势建立在一些来自很多公司和研究机构（比如PARC和贝 尔实验室）被埋没的计算机科学家的数十年来的贡献。 跟Google一样，Amazon也对互联网的基础有很大的影响---最显著的是通过一篇研究论文发表了一个叫做Dynamo的文件系统。 但是Google的影响更加深远。
Google和Xerox PARC的区别在于，Google的优势大部分来源于它的发明往往领先于世界上其他公司能赶得上的程度。像GFS，MapReduce这样的工具使得公司 在竞争中处于领先。 现在，它大部分已经抛弃了这些工作，发展到新的软硬件领域。 又一次，世界上其他公司开始追赶google
Google的孪生神人Kenton Varda 在愚人节那天同时对其他几名google的工程师恶作剧。 Jeff Dean看起来像“最有趣的选择” Varda回忆。“他的风度可能是这些神里面最大的”
另 一个候选人是Sanjay Ghemawat， Dean长期的合作者。 2004年，Google发表了一个关于MapReduce的研究论文， 这个海量计算能力的处理系统可能是这个公司最具有影响力的数据中心方面的发明。 这篇论文只列了两个作者： Dean and Ghemawat。 这两个工程师同时在设计Bigtables数据库的过程中扮演了主要角色。 同时Ghemawat也是描述Google文件系统---一种在公司跨数据中心的网络上存储数据的办法------的三名作者之一
即使是工作那个团队的Varda里来看Google的基础设施架构部门， 这两个工程师也是难以区分开。 ”Jeff和Sanjay一起工作开发了google的大部分基础架构， 很多时候他们就好像连髋关节都在一起“， Varda说， ”往往很难分辨谁做了什么“
" 在google所有的代码修改在提交之前都需要peer review(另一个人帮忙评审）， 但是Jeff和Sanjay的例子，总是一个人发一大段要评审的代码对方，对方直接 'LGTM'。 因为他们俩总是一起修改代码：” LGTM在Google的意思是“looks good to me"
Varda说的这些都是真实。 这些年来， Dean和Ghemawat养成了坐在同一台机器前面一起coding的习惯。 一般是Ghemawat编码. "他是他的地盘上的收割者“， Dean说
他 们俩在来google之前就认识了。 90年代，他们都在DEC公司----前互联网时代的计算领域巨人----的硅谷研究所工作。Dean在加州Palo Alto的DEC西部研究所工作， Ghemawat则在两栋楼之外的姊妹实验室-----DEC系统研究中心----工作。他们俩经常合作项目，并不仅仅因为Dean对处于两个实验室之间 的冰激凌店感兴趣，而是他们俩一起合作的很好。 在DEC， 他们一起为java语言写了一个新的编译器， 以及一个改变了我们追踪服务器行为方式的系统分析器
他们作为DEC研究力量“移民”的一部分， 一起来到Google。 在90年代后期， 此时的Google刚刚起步，但是DEC却已是日薄西山。 Google用很多RISC架构的微处理器制造出大型（计算能力）的服务器， 并且当时世界的潮流迅速的涌向装备了X86芯片的低功耗机器。1998年， DEC被PC巨人康柏收购。 四年后，康柏被HP合并。 DEC研究院的顶级研究员逐渐的向其他地方发展。
“DEC实验室在被康柏收购后经历一段动荡的时期” ， Dean说，“而且它并不清楚在研院在这家刚合并了的公司里所处的角色“ 。一些工程师去了刚刚在硅谷开了分支研究机构的微软， 一些去了Palo Alto的一家叫做Vmware、从事试图将数据中心颠覆的虚拟机行业的创业公司。 很多则去了Google这家成立于DEC被康柏收购同年成立的公司。
这是一段好几家世界上最有影响力的研究所--包括Xerox PARC， 贝尔实验室（产生出Unix操作系统和c语言）----失去动力的时期。 但是即使这些研究所的好日子到头了，很多他们的研究员却迎来了曙光。
“2001 年， 互联网泡沫崩溃。 包括DEC在内的巨头们的时候缩减规模的时候， Google和Vmware两个高科技公司在招人”。 Eric Brewer，现在和Dean和Ghemawat一起工作的加州大学伯克利分校计算机系教授说道。 “由于需求和供给的严重不对称， 公司（指Google和Vmware）招聘了很多真正的伟大的人并且都因为这个因素发展的很好。”
和Dean和Ghemawat一样，好几 位从DEC来到Google的工程师帮忙设计了一系列的导致了整个Web可以被当做一个整体的技术， 其中包括Mike Burrows, Shun-Tak Leung, 和Luiz André Barroso. 同时，这些工程师在寻找有意思的工作----Google也在找寻足够聪明的人来使得搜索引擎跑起来。 但是作为事后诸葛亮来分析，这些来自DEC的“移民”提供了理想的象征使得Google能后改变形象屹立在世界上其他公司之前。
DEC是第 一个构建起成功的web搜索引擎的公司--出自DEC西部研究所的AltaVista--- 至少在刚开始时，整个AltaVista运行在单台的DEC机器上。Google让ALtaVista黯然失色很大一部分是因为它完全改变了这种模式。 与其用大型的机器来运行搜索引擎，Google将整个软件系统分解成小块， 并且把任务发散到小型廉价的机器上去。这就是隐匿在GFS， MapReduce， BigTable背后的思想。
事后诸葛亮来分析的话， 这是自然进化的过程。 “构建一个像Google这样用上千台计算机搭建起来的系统的架构上的挑战和构建一个复杂完整的系统的挑战并不是完全不相同”， Armando Fox， 加州大学伯克利分校计算机系大规模计算方面的教授说道，“这些问题本质上很相近， 这也是为什么需要有在DEC工作过的人来参这些工作”。
Jeff Dean追随他“叔叔”来到Google
Jeff Dean 是第一个从DEC来到Google的。他追随他“学术上的叔叔(学术上的领路人）”---Urs Hölzle的脚步。
Hölzle是Google最开始的10名员工之一，也是公司第一个工程副总，他见证了Google基础架构----根据外界猜测，Google有分布在全球的多达35个数据中心----从无到有诞生的过程。他以加州大学圣芭芭拉分校教授的身份加入了Google。 在这之前，他在斯坦福大学跟随曾经开发过现今Java语言编译器的一些核心技术的David Ungar教授学习。
Dean 学术上的导师（译注：指Urs Hölzle）也跟随过Ungar一起学习过，所以我们称呼Hölzle为“学术上的叔叔”。 1999年，当DEC垂死挣扎的时候， Dean离开了DEC，去了一家叫MySimon的创业公司。但是当他看到Hölzle在Google的时候，他发了封邮件询问Google是否能提供他 想要的工作。很快他就被当初招聘Hölzle的那个人给招进了公司。 那个人正是Google的合伙创始人， 拉里佩奇。
起先，Dean负 责为Google的雏形搜索引擎构建广告系统。几个月后，他开始接手由于全球互联网迅猛发展苦苦支撑的Google公司的最核心的搜索技术。很大程度上因 为Dean和DEC的其他同事比如Krishna Bharat 和 Monika Henzinger都加入了Google，很快Ghemawat也加入了Dean的工作行列。
“如果不是Jeff在Google， 我很可能不会去Google面试”， Ghemawat说到。他们很快捡起在DEC所丢下的工作内容。接下来的3、4年里，与一个一直处在不断变动的工程师小组一起， 他们俩设计并实现了好几个版本的公司的核心系统， 包括抓取web页面、建好索引、为全球的用户提供搜索服务。
是的， 他们经常喝着咖啡在同一台机器上写代码。卡布奇诺是他们的最爱。 Dean对于他们一起合作完成的工作评价是，因为Ghemawat更加冷静沉着，“我有时候会变得没有耐心，思考我们做某件事情的所有可能方案，我的想法 变得很快， 手上能很迅速敲出来代码（这一句原文是 my mind and hands spinning at a very fast rate）。Sanjay也会很兴奋，但是他能控制住自己。他不断修改我的前进路线，所以我们最终会朝着正确的方向前进”。
Ghemawat认为Dean的做事的方法同样重要。他（译注：指Dean）保持他俩不断的前进。 “我经常会沮丧，思考做事情的其他不同的方法，担心是不是错过了正确的方案”， Ghemawat说， “为了达到目的，需要有这么一个充满能量和激情的人”。
大 的突破伴随着GFS和MapReduce这两个在最近十年的头几年里Google的数据中心的不断推广应用的发明的到来。这些平台为Google的搜索引 擎海量数据的索引提供了可靠的解决方案。Google抓取互联网上的网页，它可以通过GFS将数据存储在数千台的服务器上。 有了MapReduce， 它就有了将这些数据处理成单个的、可检索的索引的计算能力。
这些平台的巧妙在于，即使有机器失败或者网络变慢，它们也不会崩溃掉。当你像 Google一样需要处理数千台普通务器的时候，机器挂掉是常有的事。有了GFS和MapReduce， Google可以在不同机器上放置多份数据的备份。即使有一台机器挂掉， 其他的仍然正常工作。
“Google的索引的规模，导致了处理机 器挂掉和延迟是一项复杂的任务。为了高性能和可扩展性， 我们试图对一堆机器的自动并行化做抽象（译注：抽象是计算机领域很重要的概念，屏蔽底层的细节）， 同时也需要分布在数千台服务器上的长期运行的系统提供鲁棒性和可靠性”， Jeff Dean在描述MapReduce背后设计的思考的时候说到。他解释道，当这些工具运用在Google的搜索引擎里的时候，Google意识到他们可以用 （同样的解决方案）来跑其他的Web业务。
BigTable出现在类似的场景。和MapReduce一样，它运行了GFS之上，但是它不处 理数据， 更像一个海量的数据库。 “它管理行数据”， Dean说到，“并且按照你的需要将这些数据分布到更多的机器上去”。 它并不像传统的关系型数据库那样，给了你很多对数据的操作的功能，但是它可以管理远远超过单台机器的软件平台能够管理的数据量。
同样的故事一遍遍的发生。随着公司的成长，Google遇到了空前规模的数据增长，它需要重新构建软件系统。
“当 你的工作是接管整个英特网，建立索引，做一份拷贝---当然并不是拷贝一份和Internet同样大小的那样直接的方式来做----你会怎么做？ 这是个很有趣的技术挑战”， Jason Hoffman（Joyent云计算部门的首席技术官）说到， “挥舞锤子的人知道如何造一个锤子。 大多数创新来自于（之前有过的）做事的经验中， 来自你面临失败的那些地方”
Crème Brûlée打造的数据中心帝国
Luiz André Barroso 追随Jeff Dean和Sanjay Ghemawat离开DEC来到Google。 但是他差一点就没能来。
Barroso 在DEC的西部研究所和Dean一起工作。2001年，他在Google和Vmware的工作offer之间权衡。在访问及面试了两家公司之后， 他列了一个加入各家公司的理由的表格。 但是这个表格上两家公司最终打成了平手：加入Google有122个理由， 同样有122个理由加入Vmware。
然后他跟Dean作了交流。Dean提醒他是否把Google的行政主厨Charlie Ayers提供的焦糖布丁考虑在内。 “焦糖布丁是他的最爱”， Dean还记得。 “我问他是否考虑（焦糖布丁）在这122条理由之内， 他说， '没有！我忘记了！'”。 第二天Varroso就接受了Google的工作Offer。
Barroso不同寻常之处在于，他不是一个纯粹 的软件工程师。在DEC工作时， 他帮忙开发多核处理器---真正的在1颗CPU上的有多个处理器。 但是当Barroso在Google的软件部门工作的时候， Hölzle让他去负责Google的硬件部门的大整修，不仅仅包括服务器和其他计算设备，还有和数据中心相关所有硬件设备。“我是这伙人里技能最接近硬 件工程师的人”， Barroso回忆道（此处原文是：I was the closest thing we had to a hardware person）。
Hölzle, Barroso 以及他们的“平台团队” 开始重新思考公司的服务器。2003年， 不再跟往常一样从DELL、HP这些公司采购常规服务器，这个团队开始降低成本， 设计自己的服务器，并且联系同样为DELL和HP这些公司提供产能的亚洲的的工厂来生产。简而言之，Google减少了中间供应商。
Google的服务器独特之处在于， 每台服务器都包含一个12V的电池。 当机器没有主电源供应的时候，这块电池可以接手继续撑一会。据Google的说法，这种做法比在数据中心里装备大量的UPS（不间断电源， 为服务器提供后备电力）要更明显的有效率。
之后这个团队继续工作在托管服务器的数据中心领域。当时Google都是从其他的公司租用数据中心托管服务。但是Barroso和Crew从头开始， 为了节能和省钱，同时也是为了提供Google的Web服务的性能，设计和构建了Google自己的数据中心。
Google的第一个新数据中心在Oregon的Dalles， 一个能提供廉价电力以及税费优惠的偏僻乡村。但是他们的主要目标是，将整个数据中心建设成看起来就像一台完整的大计算机。Barroso和Hölzle称呼它为“数据仓库式的计算（中心）”
“为了提供更高水平的英特网服务性能， 这些数据中心里的大部分软硬件资源必须紧密联系在一起协同工作。这个目标只能通过从全局整体来设计并部署才能实现。” Barroso和Hölzle 在他们2009年出版的一本很有影响力的、标题叫做 "The Data Center as a Computer"一书中写到，“换句话说，我们必须把数据中心整体当做一个数据仓库式的电脑（来使用）”。
他 们用新型的组件来设计了这种数据中心。紧密放置的服务器，网络设备，以及其他硬件设备被装进标准化的方便运输的装置内 ---- 和陆运及海运运输货物的同样的装置。 这些数据中心模块可以被拼接成一个大的多的计算设备。 这么做的目的是最大化每个模块的工作效率。很明显，这个概念来自于拉里佩奇在2003年看到的Internet Achieve做的一个关于他们的关于类似模块的设想的汇报---即使Barroso不记得这个想法从何而来。“反正不是我”， 他说到。
公司在Delles的数据中心2005年投入使用。这几年来，关于Google的数据中心模块和定制服务器的传言满天飞， 但是细节直到2009年Google在硅谷总部举行的一次小型会议上才揭开。 在数据中心里， Google不满足于仅仅创新。它保持极度的创新欲望直到已经足够好并且能够和世界上其他的（公司）分享。
特斯拉现象拉里佩奇特别崇拜Nikola Tesla。 根据Steven Levy的那本讲述Google背后故事的书---In The Plex介绍， 佩奇认为Tesla作为一个发明家和爱迪生不分上下，但是令人惋惜的是他缺乏将发明创造转化为盈利的能力以及得到长期认可的能力。
Nicola Tesla的境遇警示Google如何对待它的核心技术。 它把它们视为商业机密。 跟苹果公司一样，Google在保密方面很有一套。但是另一方面，当一项技术在Google服务好几年后 Google就会将它披露出来。“在不放弃我们的竞争优势的前提下，我们会尽量做到开放”， Hölzle说。“我们会（跟别人）沟通想法， 但是不会公开实现方式的细节”。
2003和2004年，Google发表了GFS和MapReduce的论文。 Google的论文对这些系统本身做了很好地说明。不久之后，一个叫做Doug Cutting的开发者就利用（这些论文的思想）， 为他称做Nutch的一款开源搜索引擎构建了索引系统。Cutting加盟当时的Google搜索的竞争对手雅虎之后，这个项目演变为Hadoop。
作为能够驱动上千台服务器来处理史诗般壮丽、罕见数量的数据的Hadoop， 被包括Facebook、Twitter、 微软等很多其他互联网巨头所采用。现在Hadoop已经逐渐发展到其他的商业领域。根据IDC的研究，到2016年，Hadoop项目将会创造813个million美元价值的软件市场。
历 史又在BigTable身上重演。Google在2006年发表了关于它的sweeping database（如何翻译sweeping database ？）的论文，以及Amazon的一篇描述名为Dynamo的数据库存储的论文，拉开了轰轰烈烈的在成千上万台机器上扩展运行的NoSQL运动的序幕。
“如 果你自己观察各种NoSQL的方案，所有的都可以归结到Amazon的Dynamo或者Google的BigTable的论文思想里”， Joyent的Jason Hoffman说，“如果Google或者Amazon没有发表出这两篇学术论文，这个世界将会是怎么样的另一番景象”。
Google 的硬件部门是完完全全不同的另一番故事。我们对于Google的数据中心内部依然所知甚少，但是公司在设计及构建这方面东西的努力同时也影响了了互联网上 的其他公司（这一句翻译的不好， 原文是：but the company’s efforts to design and build its own gear has undoubtedly inspired similar efforts across the web and beyond）。 Facebook在亚洲生产厂商的协助下正在设计它自己的服务器、服务器机架以及存储设备。根据外部消息，Amazon和微软也在做类似的事情。在开源计算基金会的支持下， Facebook开源了它在服务器方面的设计， 很多其他公司也在探索类似的硬件。
此 外，模块化数据中心是当今Web的支柱。微软用这些， eBay以及其他数不清的公司也在用。Mike Manos， 前微软数据中心领域专家，否认Google是模块化数据中心浪潮的开创者。他指出类似的模块最早可以追溯到1960年左右。但是Google最先借用了这 种思路。 Cloudant的Mike Miller指出， GFS和MapReduce的思想也来自于以前（译注：指的是MapReduce的思想来自于函数式编程）。但是Google能够很好地将这些旧的思想应 用到解决新的问题中来。
Google的过去仅仅是拉开序幕具有讽刺意味的是， Google差不多已经在内部替代了这些技术。过去几年，Google用一个叫做“Colossus”的新平台替代了GFS， 并且用了一个叫做Caffeine的新系统来构建索引。Caffeine系统包含部分MapReduce，但是使用实时构建索引而不是（隔段时间）从头开始重新构建这样一种完全不同的方式来运作。
Google或许会一直用其在Dalles的数据中心，但是在新的数据中心里，它不再扮演重要角色了。我们对Google现在在它高度机密的数据中心里使用的技术所知甚少， 但是你可以从它过往的所作所为来推测现在。
最 近几年，Google发表了关于Caffeine以及两个其他的软件平台：Pregal这个从数据分片中映射（图结构）关系的图数据库； 以及能在超大量的数据中快速分析数据的Dremel。好几个开源项目正在试图实现Pregel。至少有一个正在克隆Dremel. Cloudant的Miller如此评价Caffeine：它改变了Hadoo和NoSQL的市场。
这些仅仅是一些在Google内部得到应用的最新发明。毫无疑问，还有更多我们不知道的东西。但是不管现在Google在用什么，它一定会很快的迭代前进。去年五月，加州大学伯克利分校的教授Eric Brewer声明他加入了Google的构建Google下一代基础设施架构的团队。“云还很年轻”， 他说，“有很多东西可做，很多目标可以实现”。
作为分布式计算研究领域的巨人，Brewer是Google作为Xerox PARC现在继任者的又一个标志。但是Google将PARC的精神又发扬了一大步。
你可以对比DEC来追溯Google的研究机构（的发展轨迹）， 所有的都很像PARC早期的时候。DEC的系统研究中心是Robert Taylor建立的，同时Taylor也是PARC的计算机科学实验室的成立者。
Taylor 感觉到DEC在80年代失去了它的发展方向，所以建立了SRC（Systems Research Center）。 “我在PARC工作的很多同事都跟我一样， 感觉（工作上）理想在幻灭，在失去希望”， 他说， “所以他们加入了我（创办的实验室）”。 他用旧的PARC计算机科学实验室的影子作为蓝图来建设SRC---至少在组成架构上和它一样。 某种程度上，他成功了。
但是他也遇到了同 其他很多合作研究机构一样的限制。它（指SRC）花了很长时间将研究成果孵化成型，投入到市场上来。这也是Jeff Dean工作所在 的DEC西部研究所的困境。这促成了他去Google工作。“最终，我所做的工作脱离了实际用户这个挫折导致了我想去一个创业公司”， Dean说。
但 是Google不是传统的创业公司。它把科学研究上的挑战以及迅速将研究成果展示（给用户，让其满意）结合起来。 Google是一个研究机构--同时你也可以说它不是。“Google的基础设施方面的工作并不能真正的被当做是研究”，Ghemawat说， “它是如何解决我们在实际生产环境中遇到的问题”。
对于一些人来说，在Google的核心基础部门工作的一个缺点就是你不能告诉任何人你的工作内容是什么。这就是为什么Amir Michael离开了Google， 去Facebook构建服务器。但是，工程师们也有将他们的工作发表成论文或者公开的讨论的机会。
对 于Google来说，这就是需要平衡的艺术。甚至一些平衡还很苛刻（原文是：Though some are critical of the particular balance）， 但这对于Google来说很适用。没有反对它这种做事方式的其他方法使得这个世界进步。 即使是PARC也没有（像Google一样）表现的更好。
喜欢 
顶
难过
囧
围观
无聊
