Quel est le résultat de l'émergence du big data ?

L'émergence du big data est le résultat de l'accumulation de changements quantitatifs dans les données et de changements qualitatifs.

Le Big data (big data), terme utilisé dans l'industrie informatique, fait référence à un ensemble de données qui ne peuvent pas être capturées, gérées et traitées avec des outils logiciels conventionnels dans un certain laps de temps. modèles de traitement pour disposer de données plus précises. Des actifs d’informations massifs, à forte croissance et diversifiés avec de solides capacités de prise de décision, de compréhension et d’optimisation des processus.

Raisons de l'émergence du Big Data :

La plupart des avancées technologiques proviennent de besoins réels en matière de produits. Le Big Data est né à l'origine dans le moteur de recherche de Google. Avec le développement de l'ère du Web 2.0, la quantité de données sur Internet a connu une croissance explosive. Afin de répondre aux besoins de recherche d'informations, il existe un très fort besoin de stockage de données à grande échelle.

En raison de considérations de coût, il est de plus en plus difficile de mettre à niveau le matériel pour rechercher de grandes quantités de données. Google a donc proposé un système de stockage de fichiers fiable, basé sur un logiciel, GFS, qui utilise des PC ordinaires pour paralléliser et prend en charge le stockage à grande échelle.

Les données stockées sont de faible valeur et seules les données peuvent être traitées pour répondre aux besoins réels des applications. Google a donc créé le modèle informatique MapReduce, qui peut utiliser la puissance des clusters pour combiner des opérations complexes. Divisez-le en chaque PC ordinaire, et une fois le calcul terminé, les résultats finaux du calcul sont obtenus par résumé, de sorte qu'une meilleure puissance de calcul puisse être obtenue en augmentant directement le nombre de machines.

Avec GFS et MapReduce, le stockage et le fonctionnement des fichiers ont été résolus, mais de nouveaux problèmes sont apparus. Les capacités de lecture et d'écriture aléatoires de GFS sont très faibles et Google a besoin d'une base de données pour stocker les données formatées. Le problème qui a été initialement résolu par une base de données autonome a été une tragédie pour Google, alors Google, l'outil magique, en a développé une autre. Le système BigTable utilise le système de stockage de fichiers GFS et un système de gestion de verrouillage distribué Chubby pour concevoir un système de base de données en colonnes comme BigTable.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!