杰夫·贝佐斯(亚马逊总裁) :2010年致股东的一封信(电商圣经)

十点数据 1年前 ⋅ 2425 阅读

给我们的股东

随机森林,朴素的贝叶斯估计,RESTful服务,八卦协议,最终一致性,数据切分,反熵,拜占庭法定人数,擦除编码,向量时钟(Random forests, naïve Bayesian estimators, RESTful services, gossip protocols, eventual consistency, data sharding, anti-entropy, Byzantine quorum, erasure coding, vector clock)……走进一些Amazon会议,你可能会暂时认为你偶然进入了一个计算机科学讲座。

看看目前关于软件体系结构的教科书,你会发现一些我们不在亚马逊应用的模式。我们使用高性能事务系统、复杂渲染和对象缓存、工作流和排队系统、商业智能和数据分析、机器学习和模式识别、神经网络和概率决策以及多种其他技术。

虽然我们的许多系统都是基于计算机科学研究的最新成果,但这常常是不够的:我们的架构师和工程师必须把研究推进到还没有学术人员走的方向。我们面临的许多问题没有教科书上的解决办法,所以我们很高兴地发明了新的方法。

我们的技术几乎完全以服务的形式实现:封装其操作数据的逻辑位,并提供强化接口作为访问其功能的唯一方式。这种方法可以减少影响,并允许服务按照自己的进度发展,而不会影响整个系统的其他组件。面向服务的体系结构(或SOA)是Amazontechnologies的基础构建抽象。

由于有一个深思熟虑且有远见的工程师和架构师团队,这种方法早在SOA成为业界流行语之前就应用于亚马逊。我们的电子商务平台由数百种软件服务组成,这些服务协同工作,提供从推荐到订单履行到库存跟踪的各种功能。例如,要为访问Amazon.com的客户构建产品详细信息页面,我们的软件会调用200到300个服务,为该客户提供高度个性化的体验

状态管理是任何需要增长到非常大的系统的核心。许多年前,亚马逊的要求达到了许多系统无法再通过任何商业解决方案提供服务的程度:我们的关键数据服务存储了数PB的数据并处理数百万的请求。

为了满足这些苛刻和不寻常的要求,我们开发了几种替代的,专用的持久性解决方案,包括我们自己的键值存储和单表存储。为此,我们严重依赖分布式系统和数据库研究社区的核心原则,并从那里发明。

我们开创的存储系统展示了极高的可扩展性,同时保持严格的控制性能,可用性和成本。为了实现其超大规模属性,这些系统采用了一种新颖的方法:todata更新管理:通过放宽需要传播到大量副本的更新的同步要求,这些系统能够在最恶劣的性能和可用性条件下生存。

这些实现基于最终一致性的概念。亚马逊工程师开发的数据管理技术的进步已成为亚马逊网络服务(AWS)提供的云存储和数据管理服务下的架构的起点。例如,我们的SimpleStorage服务,Elastic Block Store和SimpleDB都从独特的Amazon技术中获取其基本架构。

亚马逊业务的其他领域也面临着类似的复杂数据处理和决策问题,例如产品数据提取和分类,需求预测,库存分配和欺诈检测。基于规则的系统可以成功使用,但它们很难维护,并且随着时间的推移会变得脆弱。

在许多情况下,先进的机器学习技术提供更准确的分类,并且可以自我修复以适应不断变化的条件。例如,我们的搜索引擎采用在后台运行的数据挖掘和机器学习算法来构建主题模型,我们应用信息提取算法来识别属性并从非结构化描述中提取实体,从而允许客户缩小搜索范围并快速找到所需产品。

我们考虑与搜索相关的大量因素预测客户兴趣的概率并优化结果的排名。产品的多样性要求我们采用现代回归技术,如经过训练的决策树随机森林,在排名时灵活地整合数千种产品属性。所有这些幕后软件的最终结果?快速,准确的搜索结果,帮助您找到您想要的

如果我们将技术放在某些研发部门的一边,那么我们投入技术的所有努力可能并不重要,但我们不采取这种方法。技术为我们的所有团队,我们的所有流程,决策以及我们每个业务的创新方法注入了动力。它与我们所做的一切深深融合。

一个例子是Whispersync,我们的Kindle服务旨在确保无论您走到哪里,无论您使用何种设备,您都可以访问您的阅读库以及您的Kindle设备和移动设备上的所有重点,备注和书签。 应用技术上的挑战是使这个Kindle用户成为现实,拥有数以亿计的书籍和数百种设备类型,生活在全球100多个国家 - 全天候可靠性。Whispersync的核心是最终一致的复制数据存储,应用程序定义的冲突解决方案必须并且可以处理数周或更长时间的设备隔离。当然,作为Kindle客户,我们会隐藏所有这些技术。

因此,当您打开Kindle时,它会同步并出现在正确的页面上。用Arthur C. Clarke的话来说,就像任何先进的技术一样,它与魔法无法区分

现在,如果一些股东们尽职尽责地阅读这封信的眼睛是在这一点上釉,我告诉你,在我看来,这些技术并没有被闲置 - 他们直接导致自由流动。我们生活在一个时代可用带宽,磁盘空间和处理能力的显着增加,所有这些都继续快速便宜。我们团队中拥有一些世界上最先进的技术专家 - 帮助解决当今可能存在的挑战。

正如我之前多次讨论的那样,我们有一种不可动摇的信念,即股东的长期利益与客户的利益完全一致。我们也喜欢这样。发明在我们的DNA中,技术是我们发展和改善我们为客户提供的体验的每个方面的基本工具。我们还有很多需要学习的东西,我希望我们能继续学到很多乐趣。我很自豪能成为这支球队的一员

和往常一样,我附上1997年原始信件的副本。我们的方法保持不变,现在仍然是第1天。

										杰弗里·贝佐斯

									亚马逊创始人兼首席执行官

全部评论: 0

    我有话说: