Définitions et concepts du Big Data

Le Big Data fait référence à un ensemble de données qui ne peuvent pas être capturées, gérées et traitées dans un certain laps de temps à l'aide d'outils logiciels conventionnels. Ils nécessitent de nouveaux modèles de traitement pour disposer d'un pouvoir de décision plus fort, d'une découverte d'informations et de capacités d'optimisation massives. , des taux de croissance élevés et des actifs informationnels diversifiés.

Dans « L'ère du Big Data » écrit par Victor Meyer-Schonberg et Kenneth Cukier, le big data fait référence à l'utilisation de méthodes d'analyse aléatoire (enquêtes par échantillonnage) telles qu'une raccourci et utiliser toutes les données pour l’analyse et le traitement. Les caractéristiques 5V du big data (proposées par IBM) : Volume, Vélocité, Variété, Valeur et Véracité.

Cours recommandé : Tutoriel Python.

Définition

La relation entre le big data et le cloud computing

Pour l'organisme de recherche "Big data" (Big data), Gartner a donné cette définition . Le « Big Data » nécessite de nouveaux modèles de traitement dotés d'un pouvoir de décision plus fort, de capacités de découverte d'informations et d'optimisation des processus pour s'adapter au taux de croissance massif et élevé et aux actifs informationnels diversifiés.

La définition donnée par McKinsey Global Institute est la suivante : une collection de données si vaste que son acquisition, son stockage, sa gestion et son analyse dépassent largement les capacités des outils logiciels de bases de données traditionnels. Elle a une échelle de données massive et rapide. présente quatre caractéristiques principales : le flux de données, la diversité des types de données et une faible densité de valeurs.

L'importance stratégique de la technologie du Big Data ne réside pas dans la maîtrise d'énormes informations de données, mais dans le traitement professionnel de ces données significatives. En d'autres termes, si l'on compare le Big Data à une industrie, alors la clé de la rentabilité de cette industrie réside dans l'amélioration des « capacités de traitement » des données et dans la réalisation de la « valeur ajoutée » des données grâce au « traitement ».

Techniquement, la relation entre le big data et le cloud computing est aussi indissociable que les deux faces d'une même médaille. Le Big Data ne peut pas être traité par un seul ordinateur et doit utiliser une architecture distribuée. Sa particularité réside dans le data mining distribué de données massives. Mais il doit s'appuyer sur un traitement distribué, des bases de données distribuées et un stockage cloud, ainsi que sur la technologie de virtualisation du cloud computing.

Avec l'avènement de l'ère du cloud, le big data (Big data) a également attiré de plus en plus d'attention. L'équipe d'analystes estime que le Big data est généralement utilisé pour décrire la grande quantité de données non structurées et semi-structurées créées par une entreprise, dont le téléchargement vers une base de données relationnelle à des fins d'analyse prendrait trop de temps et d'argent. L'analyse du Big Data est souvent associée au cloud computing, car l'analyse en temps réel de grands ensembles de données nécessite des frameworks tels que MapReduce pour répartir le travail sur des dizaines, des centaines, voire des milliers d'ordinateurs.

Le Big Data nécessite des techniques spéciales pour gérer efficacement de grandes quantités de données sur une durée tolérable. Les technologies applicables au Big Data comprennent les bases de données de traitement massivement parallèle (MPP), l'exploration de données, les systèmes de fichiers distribués, les bases de données distribuées, les plates-formes de cloud computing, Internet et les systèmes de stockage évolutifs.

La plus petite unité de base est le bit, toutes les unités sont données dans l'ordre : bit, Byte, KB, MB, GB, TB, PB, EB, ZB, YB, BB, NB, DB.

Ils sont calculés selon le taux de 1024 (2 à la puissance dixième) :

1 Octet =8 bits

1 Ko = 1,024 Octets = 8192 bits

1 Mo = 1 024 Ko = 1 048 576 Octets

1 Go = 1 024 Mo = 1 048 576 Ko

1 To = 1 024 Go = 1 048 576 Mo

1 PB = 1 024 To = 1 048 576 Go 1 024 ZB = 1 048 576 EB

1 BB = 1 024 YB = 1 048 576 ZB

1 NB = 1 024 BB = 1 048 576 YB

1 DB = 1 024 NB = 1 048 576 BB

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!