Heim >Backend-Entwicklung >PHP-Tutorial >Gibt es ein ausgereiftes Framework für die Datenerfassung und -analyse mit PHP oder Python?
Gibt es ein ausgereiftes Framework für die Datenerfassung und -analyse mit PHP oder Python?
- WBOYOriginal
- 2016-10-23 23:59:59852Durchsuche
Ich muss jetzt automatisch Daten aus der Artikelliste einer Website und dem tatsächlichen Inhalt in der Liste sammeln. Die ID jedes Artikels kann in der Liste abgerufen werden, und jeder Artikel wird über eine einheitliche Schnittstelle gesammelt (der Parameter bringt diesen Artikel). Der entsprechende JSON kann über die ID abgerufen werden. Es enthält einige Daten, die gesammelt und dann analysiert werden müssen.
Gibt es ein ausgereiftes Framework oder Rad, das meine Anforderungen erfüllen kann? (Es erfordert Multithreading und kann rund um die Uhr stabil laufen, da die Anzahl der Sammlungen riesig ist)
Außerdem möchte ich fragen, wie die gesammelten Inhalte (Millionen bis Dutzende Millionen) gespeichert werden sollen. Die Daten enthalten einige numerische Daten, die einer statistischen Analyse bedürfen. Kann ich MySQL verwenden? Oder gibt es andere ausgereiftere und einfachere Räder, die verwendet werden können?
In Verbindung stehende Artikel
Mehr sehen- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- So verwenden Sie cURL zum Implementieren von Get- und Post-Anfragen in PHP
- Alle Ausdruckssymbole in regulären Ausdrücken (Zusammenfassung)