Facebook本社で開催された開発者会議で、ソーシャルネットワーキング大手のエンジニアらは、自社開発した新しいクエリエンジンPrestoを使用して、既存の大規模な250PBデータウェアハウスの対話型分析を行っていることを明らかにした。
エンジニアの Martin Traverso 氏によると、850 人以上の Facebook エンジニアがこれを使用して、毎日 320TB 以上のデータをスキャンしています。これまで、当社の科学者やアナリストはデータ分析に Hive を利用していました。ただし、Hive はバッチ処理用に設計されています。しかし、データが増えるにつれて、Hive は私たちのニーズを満たすことができなくなりました。 Hive よりも高速なツールは他にもありますが、機能が制限されているか、大規模なデータ ウェアハウスを操作するには単純すぎるかのいずれかです。そして過去数か月間、私たちはこのギャップを埋めるために Presto を使用してきました。
Hive は、Facebook が数年前に Hadoop 専用に作成したデータ ウェアハウス ツールです。主に MapReduce に動作を依存しているため、古くなるとその速度が増大するデータ要件に対応できなくなります。完全なデータ セットを参照するには数分から数時間かかる可能性があり、これはまったく現実的ではありません。
Traverso 氏はまた、Presto を使用した単純なクエリには数百ミリ秒しかかからず、非常に複雑なクエリでも完了するまでに数分しかかかりません。メモリ内で実行され、ディスクには書き込まれません。
Presto は Facebook 版の Cloudera Impala SQL クエリ エンジン、または Hortonworks が Project Stinger で行っているものと同様に見えるかもしれませんが、これは Facebook の規模でより高速な操作を行うためにカスタマイズされたバージョンです。 Presto は他の商用製品と競合することはありませんが、すぐにビッグデータ業界を揺るがすでしょう。そしてFacebookは今秋、Prestoをオープンソースとしてリリースする予定だ。
Facebook のエンジニアリング マネージャーである Ravi Murthy 氏は、ユーザー数が増加し続けるにつれて、データ ウェアハウスも 4 年前の 4,000 倍に急速に成長していると述べました。マーシー氏はまた、今後数年でデータはエクサバイトに達すると述べた。したがって、このデータ規模に対応するには、多くのことを再考する必要がありました。
Presto はその 1 つであり、クエリ速度の向上に加えて、CPU 使用効率の点でも Hive よりも 7 倍効率的です。進行中のもう 1 つのプロジェクトは、Facebook のデータ センターの分析データ スペースを削減することです。
Weibo の専門家は、Facebook が発表した最新のクエリ エンジンである Presto についてどう思いますか?
ビッグ データ ピ ドン氏、EMC 中国研究所ビッグ データ ラボラトリーの元所長: Facebook の最新のインタラクティブ ビッグ データ クエリ システム Presto は、Cloudera の Impala や Hortonworks の Stinger と同様、Facebook の急速に拡大する大規模データ ウェアハウスの高速クエリ ニーズを解決します。 Facebook は、エクサバイト規模のデータを対象とした新世代のビッグ データ システムを開発しています。Presto は、データ ウェアハウスの対話型クエリ システムの 1 つであり、大容量ストレージ システムも備えている必要があります。このレベルでは、考慮すべきデザインがたくさんあります。
Sina CTO 兼共同社長 Jack Xu Liangjie : ソーシャル ネットワークとソーシャル メディアは、真のビッグデータ (ビッグデータ) プラットフォームを生み出しました。新浪微博も例外ではありません...
英国リーズ大学のコンピューターおよび言語学の研究者、および検索プロジェクトの博士研究員である vinW 氏: 1. Presto は秋にオープンソース化される予定です。 2. Hive よりも 7 倍高速です。 3. メモリに基づいています。
Launch_Bruce: FaceBook は検索エンジンではないため、リアルタイム パフォーマンスに対する要求が高くなります。Hive が最初に起動されたとしても、それは一時的な手段にすぎません。これは Hadoop の遺伝子です。深く考えずにやみくもに開始された多くのプロジェクトは、最終的には Hadoop によって確実に困難になります。しかし明らかに、Hadoop の成功したエコシステムは多くの人々に害を及ぼすことになります。
テスライーロン: さあ！ビッグデータは多くのビジネスチャンスを生み出します。特に、電子商取引プラットフォーム最大手のアリババや動画プラットフォーム最大手のYOKUとの連携に期待がかかる。さらに、Sina は Weibo 上の多くの人気アプリケーションに投資しており、Sina が研究開発、管理、販売でどのようにうまくいくかは後ほど見ていきます。
ビッグデータを運ぶヘンリー: 私たちが約 5 年前にビッグデータ分析を行っていたとき、私たちの MPP 製品にはすでにこれらの戦略が組み込まれていました。当時、最大の問題はインターネット上のビッグデータでしたが、これらのスター企業はお金をかけて購入することを好まず、車輪を作ることだけを好みました。これは、車輪を再発明するのではなく、購入に喜んでお金を費やす通信顧客にとっては良いことです。 英語から: gigaom.com
http://www.bkjia.com/PHPjc/735062.html
什么是facebookAug 17, 2023 pm 02:05 PMFacebook是一个全球知名的社交媒体平台，它为用户提供了一个连接和交流的平台。成立于2004年，由马克·扎克伯格等人创建。它是一个在线社交网络，用户可以在上面与朋友、家人和同事分享信息、照片和视频，并与他们进行互动，它的影响力不仅限于个人用户，还扩展到了企业和新闻领域。
facebook是什么意思Jul 25, 2022 am 11:06 AMfacebook的意思是一个美国的互联网公司，也指的是该公司开发的社交网络服务网站；facebook创立于2004年2月4日，是一款世界著名的社交通讯类应用，用户能够使用这款应用与世界各地的人们进行交流。
如何利用深度链接方式后门化Facebook APPMay 19, 2023 pm 02:49 PM近期，作者发现了Facebook安卓APP应用的一个深度链接漏洞，利用该漏洞，可以把用户手机上安装的Facebook安卓APP应用转变成后门程序（Backdoor），实现后门化。另外，利用该漏洞还可以重打包FacebookAPP，并将其发送给特定目标受害者安装使用。下面就来看看作者对该漏洞的发现过程，以及如何通过Payload构造，最终将其转化为FacebookAPP实际生产环境中的安全隐患。漏洞发现通常做众测时，我会先认真了解目标系统的应用机制。在我的上一篇博客中，我已经分享了通过解析Face
vue3怎么使用Facebook嵌入式视频播放器APIMay 14, 2023 pm 01:52 PM正文Facebook嵌入式视频播放器API是JavaScript版FacebookSDK提供的客户端功能。可以在自己网站上播放Facebook视频。开始使用先引入FacebookSDK封装成组件FacebookPlayerimport{onMounted,onBeforeUnmount}from"vue";constprops=defineProps({id:{type:String,default:""},src:{type:String,require
Swoole实现高效的异常处理机制Jun 14, 2023 pm 03:54 PM随着Web开发技术的不断发展，开发人员也面临着越来越复杂的业务场景和需求。例如，高并发、大量请求处理、异步任务处理等问题都需要使用高性能的工具和技术来解决。在这种情况下，Swoole成为了一种越来越重要的解决方案。Swoole是一种基于PHP语言的高性能异步网络通信框架。它提供了一些非常有用的功能和特性，例如异步IO、协程、进程管理、定时器和异步客户端，使得
您需要在Windows 10上使用Facebook时允许麦克风通话Apr 13, 2023 pm 08:25 PM当尝试在浏览器中使用Facebook Messenger进行视频通话时，有时会抱怨硬件访问错误。弹出错误，说“您需要允许在PC上进行视频通话的麦克风和摄像头访问”。这可能是因为您可能希望在计算机上启用摄像头和麦克风访问，或者因为过时的驱动程序、冲突的设备、站点权限问题等。在本文中，我们有不同的解决方案来解决此错误。让我们开始吧！方法 1：允许桌面应用访问你的相机和麦克风步骤1：使用Windows + I键一起打开Windows设置第 2 步：点击隐私第三步： 在左侧，向下滚动并单击麦克风步骤4：
Swoole中如何高效使用协程？Jun 13, 2023 pm 07:15 PMSwoole中如何高效使用协程？协程是一种轻量级的线程，可以在同一个进程内并发执行大量的任务。Swoole作为一个高性能的网络通信框架，对协程提供了支持。Swoole的协程不仅仅是简单的协程调度器，还提供了很多强大的功能，如协程池、协程原子操作，以及各种网络编程相关的协程封装等等，这些功能都可以帮助我们更高效地开发网络应用。在Swoole中使用协程有很多好处
Bitget交易所官网登陆最新入口Feb 18, 2025 pm 02:54 PMBitget 交易所提供多种登录方式，包括电子邮件、手机号和社交媒体账户。本文详细介绍了每种登录方式的最新入口和步骤，包括访问官方网站、选择登录方式、输入登录凭证和完成登录。用户在登录时应注意使用官方网站并妥善保管登录凭证。
ホットAIツール
Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ
AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。
Undress AI Tool
脱衣画像を無料で
Clothoff.io
AI衣類リムーバー
AI Hentai Generator
AIヘンタイを無料で生成します。
人気の記事
ホットツール
mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。
SublimeText3 英語版
推奨: Win バージョン、コードプロンプトをサポート!
Dreamweaver Mac版
ビジュアル Web 開発ツール
AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター
ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
