ビッグデータの定義と概念

ビッグ データとは、従来のソフトウェア ツールを使用して特定の時間範囲内で取得、管理、処理することができないデータの集合を指します。これには、より強力な意思決定力、洞察の発見、プロセスの最適化を実現するための新しい処理モデルが必要です。 、高い成長率、多様な情報資産。

Victor Meier-Schoenberg と Kenneth Cukier が著した「ビッグデータの時代」では、ビッグデータとは、ランダム分析手法 (サンプリング調査) の使用を指します。ショートカットを作成し、すべてのデータを分析と処理に使用します。ビッグデータの 5V 特性 (IBM が提案): Volume、Velocity、Variety、Value、および Veracity。

推奨コース: Python チュートリアル 。

定義

ビッグ データとクラウド コンピューティングの関係

「ビッグ データ」(ビッグ データ) 研究組織について、Gartner は次の定義を与えています。 「ビッグデータ」には、大規模で高い成長率と多様化する情報資産に適応するため、より強力な意思決定力、洞察発見、プロセス最適化機能を備えた新しい処理モデルが必要です。

マッキンゼー グローバル インスティテュートによる定義は、「収集、保存、管理、分析が従来のデータベース ソフトウェア ツールの能力を大幅に超えるほど大規模なデータ コレクションです。大規模なデータ スケールと、迅速なデータ収集を備えています。には、データ フロー、多様なデータ タイプ、および低い値密度という 4 つの大きな特徴があります。

ビッグデータテクノロジーの戦略的重要性は、膨大なデータ情報を習得することにあるのではなく、これらの意味のあるデータを専門的に処理することにあります。つまり、ビッグデータを産業に喩えると、データの「処理能力」を向上させ、「加工」によってデータの「付加価値」を実現することが、この産業を収益化する鍵となるのです。

技術的には、ビッグ データとクラウド コンピューティングの関係は、同じコインの裏表のように分かちがたいものです。ビッグデータは 1 台のコンピューターでは処理できないため、分散アーキテクチャを使用する必要があります。その特徴は、大量データの分散データマイニングにあります。ただし、分散処理、分散データベースとクラウド ストレージ、クラウド コンピューティングの仮想化テクノロジに依存する必要があります。

クラウド時代の到来により、ビッグデータ（ビッグデータ）にも注目が集まっています。アナリスト チームは、ビッグ データは通常、企業が作成した大量の非構造化データおよび半構造化データを記述するために使用され、分析のためにリレーショナル データベースにダウンロードするには時間と費用がかかりすぎると考えています。大規模なデータ セットのリアルタイム分析には、作業を数十、数百、さらには数千のコンピューターに分散する MapReduce などのフレームワークが必要であるため、ビッグ データ分析はクラウド コンピューティングと関連付けられることがよくあります。

ビッグ データには、許容可能な時間にわたって大量のデータを効率的に処理するための特別なテクニックが必要です。超並列処理 (MPP) データベース、データ マイニング、分散ファイル システム、分散データベース、クラウド コンピューティング プラットフォーム、インターネット、スケーラブルなストレージ システムなど、ビッグ データに適用できるテクノロジ。

最小の基本単位はビットです。すべての単位は、ビット、バイト、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB の順序で指定されます。

これらは 1024 (2 の 10 乗) のレートに従って計算されます:

1 バイト = 8 ビット

1 KB = 1,024バイト = 8192 ビット

1 MB = 1,024 KB = 1,048,576 バイト

1 GB = 1,024 MB = 1,048,576 KB

1 TB = 1,024 GB = 1,048,576 MB

1 PB = 1,024 TB = 1,048,576 GB

1 EB = 1,024 PB = 1,048,576 TB

1 ZB = 1,024 EB = 1,048,576 PB

1 YB = 1,024 ZB = 1,048,576 EB

1 BB = 1,024 YB = 1,048,576 ZB

1 NB = 1,024 BB = 1,048,576 YB

1 DB = 1,024 NB = 1,048,576 BB

以上がビッグデータの定義と概念の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。