在Facebook总部的一次开发者会议上,这个社交网络巨头的工程师透露,他们正在使用新的自主研发的查询引擎Presto,在已有的250PB的庞大数据仓库上进行交互式分析。
据Martin Traverso工程师透露,有超过850名Facebook工程师每天用它来扫描超过320TB的数据。在以前,我们的科学家和分析师一直依靠Hive来做数据分析。但Hive是专为批处理设计的。但随着数据越来越多,Hive已不能满足我们的需求。虽然我们还有其他比Hive更快的工具,但它们要么在功能有所限制要么就太简单,以至于无法操作我们庞大的数据仓库。而在过去的几个月中,我们一直使用Presto来填补这方面的空白。
Hive是Facebook在几年前专为Hadoop打造的一款数据仓库工具。因为它主要依赖MapReduce进行运行,所以随着年龄的上升,其在速度上已不能满足日益增长的数据要求。浏览一个完整的数据集可能要花费几分到几小时,这完全是不切实际的。
Traverso还表示,使用Presto进行简单的查询只需要几百毫秒,即使是非常复杂的查询,也只需数分钟即可完成,它在内存中运行,并且不会向磁盘写入。
虽然看起来Presto如同Facebook版的Cloudera Impala SQL查询引擎,或与Hortonworks在Stinger项目中所做的事情相似,但这是按照Facebook规模为实现更快操作而定制的版本。Presto并不会与其他商业产品进行竞争,但它会很快让大数据行业产生不小的震动。并且Facebook打算在今年秋天以开源的形式发布Presto。
Facebook的工程经理Ravi Murthy表示,随着用户量地不断增长,数据仓库也在快速增长,它比四年前要大4000倍。Murthy 也表示,在接下来几年,数据将会达到艾字节。因此,为了适应这种数据规模,我们不得不重新考虑许多东西。
Presto则是其中之一,除了提高查询速度,在CPU使用效率上,这个引擎比Hive高效7倍。另外一个正在进行的项目是缩减Facebook数据中心的分析数据空间。
对于Facebook最新推出的查询引擎Presto,微博上的各位大神又有哪些看法呢?
原EMC中国研究院大数据实验室负责人大数据皮东:Facebook最新的交互式大数据查询系统Presto,类似于Cloudera的Impala和Hortonworks的Stinger,解决Facebook迅速膨胀的海量数据仓库快速查询需求。Facebook针对Exabyte规模数据正在开发新一代大数据系统,Presto是其中的数据仓库交互查询系统,应该还有海量存储系统。在这个级别,很多设计需要考虑!
新浪CTO兼联席总裁许良杰Jack:社交网络和社会化媒体催生了真正的大数据(Big Data)平台。新浪微博也不例外……
英国利兹大学计算机及语言学研究员,搜索项目博士后研究员vinW:1. presto秋季会开源;2.比hive快七倍;3.基于内存
Launch_Bruce:FaceBook不是搜索引擎,对实时性的要求更高,即使当初推出Hive,也只能是权宜之计。这属于Hadoop的基因,Hadoop必将会让很多没有深度思索盲目上马的项目最后举步维艰。但是显然Hadoop成功的生态系统也会害了不少人。
TeslaElon:加油!Big Data会衍生出很多商业机会。尤其是与最大的电商平台阿里巴巴以及最大的视频平台YOKU潜在的合作值得期待。另外Sina投资了不少微博上的火爆应用,很多机会,后面看Sina研发和管理以及销售如何做好。
搬运大数据的亨利:大约五年以前做大数据分析,我们的MPP产品就已经有这些策略了。当时,最大的问题是大数据在互联网,但这些明星企业不爱花钱购买只爱造轮子。还是电信客户好,他们愿意花钱采购而不是造轮子。
英文来自:gigaom.com

Facebook是一个全球知名的社交媒体平台,它为用户提供了一个连接和交流的平台。成立于2004年,由马克·扎克伯格等人创建。它是一个在线社交网络,用户可以在上面与朋友、家人和同事分享信息、照片和视频,并与他们进行互动,它的影响力不仅限于个人用户,还扩展到了企业和新闻领域。

facebook的意思是一个美国的互联网公司,也指的是该公司开发的社交网络服务网站;facebook创立于2004年2月4日,是一款世界著名的社交通讯类应用,用户能够使用这款应用与世界各地的人们进行交流。

近期,作者发现了Facebook安卓APP应用的一个深度链接漏洞,利用该漏洞,可以把用户手机上安装的Facebook安卓APP应用转变成后门程序(Backdoor),实现后门化。另外,利用该漏洞还可以重打包FacebookAPP,并将其发送给特定目标受害者安装使用。下面就来看看作者对该漏洞的发现过程,以及如何通过Payload构造,最终将其转化为FacebookAPP实际生产环境中的安全隐患。漏洞发现通常做众测时,我会先认真了解目标系统的应用机制。在我的上一篇博客中,我已经分享了通过解析Face

正文Facebook嵌入式视频播放器API是JavaScript版FacebookSDK提供的客户端功能。可以在自己网站上播放Facebook视频。开始使用先引入FacebookSDK封装成组件FacebookPlayerimport{onMounted,onBeforeUnmount}from"vue";constprops=defineProps({id:{type:String,default:""},src:{type:String,require

随着Web开发技术的不断发展,开发人员也面临着越来越复杂的业务场景和需求。例如,高并发、大量请求处理、异步任务处理等问题都需要使用高性能的工具和技术来解决。在这种情况下,Swoole成为了一种越来越重要的解决方案。Swoole是一种基于PHP语言的高性能异步网络通信框架。它提供了一些非常有用的功能和特性,例如异步IO、协程、进程管理、定时器和异步客户端,使得

当尝试在浏览器中使用Facebook Messenger进行视频通话时,有时会抱怨硬件访问错误。弹出错误,说“您需要允许在PC上进行视频通话的麦克风和摄像头访问”。这可能是因为您可能希望在计算机上启用摄像头和麦克风访问,或者因为过时的驱动程序、冲突的设备、站点权限问题等。在本文中,我们有不同的解决方案来解决此错误。让我们开始吧!方法 1:允许桌面应用访问你的相机和麦克风步骤1:使用Windows + I键一起打开Windows设置第 2 步:点击隐私第三步: 在左侧,向下滚动并单击麦克风步骤4:

facebook的canvas优势有高度可定制、强大的功能、良好的性能、跨平台兼容性、丰富的生态系统等等。详细介绍:1、高度可定制,Facebook Canvas允许开发人员完全自定义应用程序的外观和行为,包括界面、导航栏、状态栏等;2、强大的功能,Facebook Canvas提供了许多内置功能,如访问Facebook用户数据、使用Facebook登录、分享内容等等。

Swoole中如何高效使用协程?协程是一种轻量级的线程,可以在同一个进程内并发执行大量的任务。Swoole作为一个高性能的网络通信框架,对协程提供了支持。Swoole的协程不仅仅是简单的协程调度器,还提供了很多强大的功能,如协程池、协程原子操作,以及各种网络编程相关的协程封装等等,这些功能都可以帮助我们更高效地开发网络应用。在Swoole中使用协程有很多好处


Hot AI Tools

Undresser.AI Undress
AI-powered app for creating realistic nude photos

AI Clothes Remover
Online AI tool for removing clothes from photos.

Undress AI Tool
Undress images for free

Clothoff.io
AI clothes remover

AI Hentai Generator
Generate AI Hentai for free.

Hot Article

Hot Tools

SublimeText3 Chinese version
Chinese version, very easy to use

SublimeText3 English version
Recommended: Win version, supports code prompts!

MantisBT
Mantis is an easy-to-deploy web-based defect tracking tool designed to aid in product defect tracking. It requires PHP, MySQL and a web server. Check out our demo and hosting services.

Dreamweaver CS6
Visual web development tools

WebStorm Mac version
Useful JavaScript development tools