Maison  >  Questions et réponses  >  le corps du texte

java - Solution de statistiques multidimensionnelles de données de pipeline à table unique MySQL de 500 W

Il existe désormais une structure de table de flux dans le projet, qui est à peu près la suivante
id sdkVersion jarVersion countryCode imei createTime

L'exigence précédente était de trouver le nombre total en regroupant sdkVersion, jarVersion, countryCode et le nombre total après le tri imei. Le SQL approximatif est le suivant :

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx 
where createTime = 'xxxx-xx-xx'
group by sdkVersion,jarVersion,countryCode

Découvrez toutes les données de la veille et résumez-les dans un tableau. La structure est à peu près la suivante

.

id sdkVersion jarVersion countryCode count(*) count(imei distinct) createTime

Ensuite, la demande actuelle est d'interroger la combinaison de n'importe quelle latitude, c'est-à-dire
group by sdkVersion
group by jarVersion
group by countryCode
group by sdkVersion, countryCode
et d'autres combinaisons, si selon le plan récapitulatif quotidien précédent, nous avons besoin créer de nombreux tableaux pour différentes combinaisons de latitude. Existe-t-il une bonne solution à ce problème ? Ou peut-il être résolu à l’aide d’un cadre statistique spécialisé ?

黄舟黄舟2711 Il y a quelques jours857

répondre à tous(4)je répondrai

  • 仅有的幸福

    仅有的幸福2017-05-19 10:09:03

    Vous pouvez consulter la base de données de streaming PipelineDB

    répondre
    0
  • 黄舟

    黄舟2017-05-19 10:09:03

    apache kylin, olap en sous-seconde

    répondre
    0
  • 曾经蜡笔没有小新

    曾经蜡笔没有小新2017-05-19 10:09:03

    Pour un résumé quotidien, les exigences en temps réel ne sont pas élevées et les enregistrements de 500 W sont toujours dans la plage de traitement. View + le plan planifié peut répondre aux exigences, et il n'est pas nécessaire de créer plusieurs tables.
    Il est préférable que la personne qui pose la question explique quels sont les goulots d'étranglement ou les problèmes. Après tout, MySQL est un produit mature et le passage à une technologie de pointe comporte certains risques.

    répondre
    0
  • 黄舟

    黄舟2017-05-19 10:09:03

    Écrivez une procédure stockée et exécutez-la régulièrement tous les jours

    répondre
    0
  • Annulerrépondre