python - Comment analyser des données sur 20 millions de données structurées

Question

Préparation de l'analyse de séries chronologiques, de l'analyse groupée et de la prévision des tendances. L'utilisation du dataframe Python est-elle suffisante ?

Answer 1

1. S'il s'agit d'une base de données de serveur SQL, il existe un entrepôt de données intégré qui peut effectuer des opérations Olap.
2 Si vous disposez d'un cluster Hadoop, vous pouvez également l'importer dans le cluster pour les opérations d'analyse. aucun des éléments ci-dessus n'est disponible et la configuration de votre machine est bonne et la mémoire est suffisante, alors utilisez simplement des pandas pour le faire