IT·行·思·录

    Jeffrey Dean在SoCC 2010作了一个关于大规模分布式系统设计模式的演讲，演讲题目是“Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google”（翻译为“google大规模存储和计算系统的演变和未来方向“）     其中对云计算未来面临的一些挑战进行了说明，对google目前和接下来的分布式系统架构进行了展示，并对大规模系统设计的一些经验进行了重点介绍。 ——一点笔记—— 未来面临的挑战： 计算环境/客户端： 1、用户希望在不同设备上都能使用自己的数据； 2、即使离线（断网），设备也能提供部分功能；（网络连接的不稳定性） 3、（富客户端）转移部分计算到客户端； 4、（多样化的服务）计算能力更加强大（超过客户端能力）； （硬件特性）一个典型的新集群的机器硬件特性： ——以上数据说明硬件的不可靠性（reliability/availability），这必须从软件层面解决。 google集群软件现状（系统架构） google集群的软件环境：由文件系统（GFS或Colossus）加集群调度系统 构建核心服务； 通常每个作业使用的节点数以千（k）计算； 系统主要组成为： GFS(下一代文件系统：Colossus) Cluster scheduling system MapReduce BigTable（下一代表格系统：Spanner） . 下一代BigTable——Sppaner的一些特性： 跨多个数据中心的存储计算系统（规模：百万到上亿的机器、上百p的存储量，上百个数据中心）； 单个全局的namespace（用目录代替row、更好的副本和权限管理……）； 数据中心间的强、弱一致性； 相比BigTable更多的自动化操作； 跟好地满足用户定义的上层要求：数据的获取时间限制；备份数目和分布等等。 . 一些系统构建经验和分布式系统设计模式     关于分布式系统设计模式，某人做了笔记进行了归纳：《SYSTEM DESIGN PATTERNS》（ikewu对该文进行了翻译：《来自Jeffrey Dean的分布式系统设计模式》）     一些做系统设计必须要记住的数字： ——相关资源——     SoCC上的讲演视频地址： http://hosted.mediasite.com/mediasite/Viewer/?peid=1330ca0a008f4394917c2b7eb3163f1b1d     我将其中的演示文稿截图保存在slideshare上了： Jeffrey dean [...]