2014 年 5 月 2 日互联网上有关可扩展性的言论_MySQL

嘿，现在是高可扩展性时间：

Google 的新 POWER8 服务器主板

• 1 万亿：你鼻子能闻到的气味数量；数百万平方英尺：蔓延的新服务器场
• 引用名言：
  • Gideon Lewis-Kraus：作为工程师和作家亚历克斯·佩恩 (Alex Payne) 表示，这些初创公司代表了“由风险资本家及其关联机构聚集的大量分布式劳动力的现场办事处”，为五家企业巨头进行低管理、低风险的研发。在这样的系统中，真正的幻灭并不是发现自己不太可能成为亿万富翁；而是发现自己不太可能成为亿万富翁。这是意识到你的自主感是一种幻想，并且你们中的绝大多数人都被设计为失败。
  • @aphyr：我已经被不变性所吸引，纯函数、组合器等。迫使我离开 Haskell 的是难以理解的、随意的文档。
  • @monicalent：为了节省一些现金，我打算从 Rackspace 迁移出去。建议？ Digital Ocean 和 Linode 的价格都是 1GB RAM 的一半。
  • Linus Torvalds：因此，虽然我希望“make”超级高效，但同时我更愿意优化内核做到真正满足需求，并且 CPU 也不会花费太长时间。
  • Joe Landman：当网络革命到来时，廉价交换机将是第一个靠墙的
  • @etherealmind：购买公共云可以说我买不起房子，所以我会买一个帐篷。因为这也同样有效，对吧？
  • 尼尔·德格拉斯·泰森：完美地完成这件事的行为是衡量它是否被忽视的标准。[....] 当它做得完美时，它就会被忽视，或者充其量，这被认为是理所当然的。
• 我们如何扩展 Freshdesk（第一部分）——在分片之前。 每周请求量从 200 万增加到 6500 万。他们尽可能长时间地垂直扩展以应对增加的负载。增加 RAM、CPU 和 I/O。首先使用读取从属设备来处理大量读取的加权流量，然后将查询分配给特定从属设备。写入仍需要扩展，因此他们启用了 MySQL 分区。然后缓存对象和 html 部分。他们还使用不同的存储引擎来实现不同的功能。 RedShift 用于分析和数据挖掘。 Redis 用于状态和作业队列。但最终他们不得不拥抱碎片。


• 这需要一些勇气。 Fouresquare 使用数据驱动的决策来决定关闭他们的应用程序：我们查看了会话分析，发现只有十分之一的会话同时具有社交和发现功能。为什么不实际上把它们分开，因为 20 次中有 19 次，点击一个图标或另一个图标，你就完全满足了你的需求。


• 区块链故事是废话：从以下角度看区块链：从现实主义者的角度来看，并不明显需要一个性能更差的数据库，不受监管的寡头拥有不成比例的权力，管理员仲裁也无法改善这一点。它看起来像是一种寻求解决问题的技术，而不是一种为解决问题而创建的技术。


• Pinterest 如何使用 Apache Kafka 和 Secor 每天处理 200 亿个事件。 Pinterest 是开源的Secor，这是一项零数据丢失日志持久性服务，其最初的用例是保存我们的货币化管道生成的日志。 Secor 将 Kafka 日志保存到 Amazon S3 等长期存储中。它不受 S3 弱最终一致性模型的影响，不会导致数据丢失，水平扩展，并且可以选择根据日期对数据进行分区。


• Peter Lawrey 讲述用 Java 编写和测试高频交易引擎。着眼于低延迟交易、线程亲和性、无锁代码、超低垃圾和低延迟持久性。好东西。


• 大规模测试总是很有趣。它通常比原始产品本身需要付出更多的努力。以下是一次测试 Cassandra 1000 个节点的方法。接受测试的不仅仅是产品，还有其间的所有服务。他们这样做很好。


• 包括我在内的很多人都错了错了。但当 Facebook IPO 时，谁会对应用程序安装感到陌生呢？ 关于 Facebook 2014 年第一季度收益的思考：像 Google 一样，Facebook 现在是一家 90% 以上的收入来自广告的公司，因此这是我们关注的重点。 Facebook 过去一年左右最引人注目的事情是增长速度惊人地从桌面广告转向移动广告。


• 这太棒了......视频：一级方程式维修站 1950 年和今天......一个巨大的不同之处。一旦人们开始将流程视为其本身，流程就能得到令人惊讶的改进。


• 新的热情并不总是对你友善。 为什么 VividCortex 使用 MySQL：MySQL 是成熟且经过验证的； MySQL 拥有蓬勃发展的生态系统； MySQL 非常优秀、很好或者可以用于很多事情； MySQL 具有高性能和可扩展性； MySQL 是可靠的。


• 传授一下兄弟。 Jepsen：测试 PostgreSQL、Redis、MongoDB 和 Riak 的分区容错性：首先，客户端是分布式系统的重要组成部分，而不是客观的观察者。考虑通过系统边界扩展一致性算法：向 TCP 客户端提供 ETag 或矢量时钟，或将 CRDT 扩展到浏览器。


• CoreOS 是一个基于 Linux 的最小操作系统，旨在针对大型服务器部署。它对你有用吗？ Marcel de Graaf 是一位疯狂的科学家，他对 CoreOS、confd、etcd、fleet 和 CloudFormation 进行实验，试图找出答案：CoreOS 及其周围的工具生态系统给我留下了深刻的印象。如果这将成为建立高度可用和可扩展的 Web 应用程序的下一个重要步骤，我不会感到惊讶。


• 因此，您将奴隶添加到数据库中希望解决问题，然后您会得到另一个回报问题，复制滞后。 如何识别和解决 MySQL 复制从属滞后是一篇关于该主题的非常有用的文章。只是不要告诉丹妮莉丝·坦格利安。


• 为您的流程基础设施提供良好的设计建议。 nanomsg 和 ZeroMQ 之间的差异：POSIX 合规性，用 C 语言实现，可插拔传输和协议，更好的线程，围绕状态机的组织，IOCP 支持，级别触发的轮询等等。尽管有一个问题仍然存在。 Nano真的比零小吗？


• 俄罗斯娃娃虚拟化正在成为一种趋势。AWS/EC2和Google上的多节点OpenStack RDO IceHouse。使用双重嵌套虚拟化，涉及 4 个级别：Amazon 运行 Xen（裸机操作系统），我们在 Amazon 之上运行虚拟机管理程序（第一级来宾），客户运行 OpenStack 计算节点（第二级来宾，第一级嵌套），实例在 Openstack 上运行（第三级访客，第二级嵌套）。


• 现在可以观看来自 Craft 2014 - 软件工艺很重要 - 在美丽的布达佩斯举办的视频。要观看所有视频，请务必点击顶部附近的房间链接。


• CloudFactory 谈论工程突破继续帮助我们扩展：我们决定将此任务调度程序与我们的核心平台分离并使用Redis（RAM数据库）作为我们的后端技术。这种解耦方式帮助我们使其更具凝聚力，并专注于其唯一的工作，即任务调度。这也使其变得非常轻量级且速度极快。


• 幻灯片可从德国科隆NoSQL Matters@获取。


• GopherCon 2014 的幻灯片现已推出。


• 当意识形态战胜实用设计时：我并不是说苹果在这个世界上的存在时间不长。他们制作了很棒的套件。但与此同时，像所有其他公司一样，有时他们也会搞砸。并以深刻的方式做到这一点。完全打开竞争之门并有效地将他们排除在竞争之外的方式。我希望这是无意的。他们需要重新考虑非 PCIe 卡的设计。如果你不能完成你的工作，那么酷对于深蹲来说并不重要。


• 关于如何在 SQL 中计算运行总计的详细文章。那么谁需要 NoSQL？


• 创建静态博客就像制作自己的光剑。 使用 Jekyll 和 Linode 写博客第 1 部分：Jekyll：这是关于在 Jekyll 中从头开始创建新博客并使用 Linode 和 nginx 自行托管的多部分系列中的第一篇文章。


• StorageMojo：黑客新闻评论中最令人惊讶的是，大多数人对这个问题的看法是多么简化。存储便宜？关闭磁盘电源。但电力并不是互联网规模成本的主要驱动因素。 


• Yammer 设法将移动应用程序改为每周发布计划：Yammer 的项目遵循经验法则：2 到 10 人，2 到 10 周。我们喜欢运行许多并发的小型项目，而不是几个大型单体项目。 如今，我们 80% 的 iOS 用户在最新版本的应用程序发布 2 天后就开始运行。 作为一个团队，我们一致认为项目不再可以故意暂时回归主分支。我们正在稳步提高测试覆盖率。


• 响应式世界中的可扩展性：有两件事非常重要：最大化局部引用，确保数据保留在其处理上下文的本地，这一点极其重要。争用是第二个可扩展性杀​​手过度使用同步锁。 为了真正扩展，我们还需要一种向系统添加资源的方法，横向扩展是指管理弹性、添加节点或资源。 


• 6 个用于大数据的分布式文件系统：HDFS、Quantcast 文件系统、Ceph、Lustre、GlusterFS、PVFS。


• 可扩展交换性规则：为多核处理器设计可扩展软件：是否可以在任何实现存在之前就通过考虑接口规范来识别可扩展性机会？为了回答这些问题，本文引入了以下规则：每当接口操作静音时，它们都可以以可扩展的方式实现。


• 用于高效比较和交换操作的轻量级争用管理：我们的性能评估表明，轻量级争用管理支持可以在中度和高争用水平下极大地提高性能，而当争用程度较低时通常只产生很小的开销。


• Pinocchio：近乎实用的可验证计算：对此最后，我们介绍了 Pinocchio，这是一个构建系统，用于在仅依赖于加密假设的情况下有效验证一般计算。通过 Pinocchio，客户创建一个公共评估密钥来描述她的计算；此设置与评估计算一次成正比。然后，工作人员评估特定输入的计算，并使用评估密钥来生成正确性证明。