ビッグデータ時代のデータ活用の鍵はデータの再利用です。ビッグデータとは、従来のソフトウェア ツールを使用して特定の時間枠内で取得、管理、処理することができないデータの集合を指します。ビッグデータは、大容量、高速、多様性、低い値密度、および信頼性を特徴としています。
#このチュートリアルの動作環境: Windows 10 システム、Dell G3 コンピューター。
詳細な紹介:
IT 業界用語であるビッグ データ (ビッグ データ) は、従来のソフトウェア ツールを使用して特定の時間範囲内で取得、管理、処理することができないデータの集合を指します。新しい処理モデルは、より強力な意思決定力、洞察発見、およびプロセス最適化機能を備えた、大規模で急成長する多様な情報資産を生成できます。
Victor Meyer-Schonberg と Kenneth Cukier が著した「ビッグデータの時代」[1] では、ビッグデータとは、すべてのデータを分析して分析するのではなく、ランダム分析 (サンプリング調査) などの近道を使用することを指します。加工された。ビッグデータの 5V 特性 (IBM が提案): Volume、Velocity、Variety、Value、および Veracity。
特徴:
ボリューム: データのサイズによって、考慮されるデータの価値と潜在的な情報が決まります;
多様性: データ型の多様性;
速度: データが取得される速度を指します。
##変動性: データの処理と効果的な管理のプロセスを妨げます。 真実性: データの品質。 複雑さ: データの量は膨大で、複数のチャネルから送信されます。 Value(価値):ビッグデータを合理的に活用し、低コストで高い価値を生み出すこと。 関連拡張: 「ビッグデータ」の研究組織である Gartner は、次の定義を与えました。 「ビッグデータ」には、大規模で高い成長率と多様化する情報資産に適応するため、より強力な意思決定力、洞察発見、プロセス最適化機能を備えた新しい処理モデルが必要です。 マッキンゼー グローバル インスティテュートによる定義は、「収集、保存、管理、分析が従来のデータベース ソフトウェア ツールの能力を大幅に超えるほど大規模なデータ コレクションです。大規模なデータ スケールと、迅速なデータ収集を備えています。には、データ フロー、多様なデータ タイプ、および低い値密度という 4 つの大きな特徴があります。 ビッグデータテクノロジーの戦略的重要性は、膨大なデータ情報を習得することにあるのではなく、これらの意味のあるデータを専門的に処理することにあります。つまり、ビッグデータを産業に喩えると、データの「処理能力」を向上させ、「加工」によってデータの「付加価値」を実現することが、この産業を収益化する鍵となるのです。 技術的には、ビッグ データとクラウド コンピューティングの関係は、同じコインの裏表のように分かちがたいものです。ビッグデータは 1 台のコンピューターでは処理できないため、分散アーキテクチャを使用する必要があります。その特徴は、大量データの分散データマイニングにあります。ただし、分散処理、分散データベースとクラウド ストレージ、クラウド コンピューティングの仮想化テクノロジに依存する必要があります。 クラウド時代の到来により、ビッグデータ(ビッグデータ)にも注目が集まっています。アナリスト チームは、ビッグ データは通常、企業が作成した大量の非構造化データおよび半構造化データを記述するために使用され、分析のためにリレーショナル データベースにダウンロードするには時間と費用がかかりすぎると考えています。大規模なデータ セットのリアルタイム分析には、作業を数十、数百、さらには数千のコンピューターに分散する MapReduce などのフレームワークが必要であるため、ビッグ データ分析はクラウド コンピューティングと関連付けられることがよくあります。 ビッグ データには、許容可能な時間にわたって大量のデータを効率的に処理するための特別なテクニックが必要です。ビッグ データに適用できるテクノロジーには、超並列処理 (MPP) データベース、データ マイニング、分散ファイル システム、分散データベース、クラウド コンピューティング プラットフォーム、インターネット、およびスケーラブルなストレージ システムが含まれます。 最小の基本単位はビットです。すべての単位は、ビット、バイト、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB の順序で指定されます。 これらは 1024 (2 の 10 乗) のレートに従って計算されます: 1 バイト = 8 ビット1 KB = 1,024 バイト = 8192 ビット1 MB = 1,024 KB = 1,048,576 バイト1 GB = 1,024 MB = 1,048,576 KB1 TB = 1,024 GB = 1,048,576 MB1 PB = 1,024 TB = 1,048,576 GB1 EB = 1,024 PB = 1,048,576 TB1 ZB = 1,024 EB = 1,048,576 PB1 YB = 1,024 ZB = 1,048,576 EB 1 BB = 1,024 YB = 1,048,576 ZB1 NB = 1,024 BB = 1,048,576 YB1 DB = 1,024 NB = 1,048,576 BB (学習ビデオ共有:プログラミングビデオ )
以上がビッグデータ時代のデータ活用の鍵は何でしょうか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。