4 Schritte für Hochleistungsrechnen für die Verarbeitung großer Datenmengen

Wenn ein Unternehmen für die Verarbeitung seiner großen Datenmengen Hochleistungsrechnen benötigt, funktioniert es möglicherweise am besten, vor Ort zu arbeiten. Hier erfahren Sie, was Unternehmen wissen müssen, einschließlich der Unterschiede zwischen High-Performance Computing und Hadoop.

Im Bereich Big Data benötigt nicht jedes Unternehmen Hochleistungsrechnen (HPC), aber fast alle Unternehmen, die Big Data nutzen, haben analytisches Computing im Hadoop-Stil eingeführt.

Der Unterschied zwischen HPC und Hadoop ist schwer zu unterscheiden, da Hadoop-Analysejobs auf High-Performance-Computing-Geräten (HPC) ausgeführt werden können, umgekehrt jedoch nicht. Sowohl HPC- als auch Hadoop-Analysen verwenden parallele Datenverarbeitung, aber in Hadoop- und Analyseumgebungen werden Daten auf Hardware gespeichert und über mehrere Knoten dieser Hardware verteilt. Beim Hochleistungsrechnen (HPC) sind die Datendateigrößen viel größer und die Daten werden zentral gespeichert. High Performance Computing (HPC) erfordert aufgrund der großen Dateigrößen und der Notwendigkeit teurerer Netzwerkkommunikation wie InfiniBand einen hohen Durchsatz und eine geringe Latenz.

Der Zweck von Unternehmens-CIOs ist klar: Wenn ein Unternehmen HPC vermeiden und Hadoop nur für Analysen verwenden kann, kann es dies tun. Dieser Ansatz ist kostengünstiger, für Mitarbeiter einfacher zu bedienen und kann sogar in der Cloud ausgeführt werden, wo andere Unternehmen (z. B. Drittanbieter) ihn ausführen können.

Leider ist es für alle Unternehmen und Institutionen in den Bereichen Biowissenschaften, Meteorologie, Pharmazie, Bergbau, Medizin, Regierung und Wissenschaft, die Hochleistungsrechnen (HPC) für die Verarbeitung benötigen, unmöglich, Hadoop einzuführen. Aufgrund der großen Dateigröße und der extrem strengen Verarbeitungsanforderungen ist die Nutzung eines Rechenzentrums oder Cloud Computing keine gute Lösung.

Kurz gesagt ist High Performance Computing (HPC) ein perfektes Beispiel für eine Big-Data-Plattform, die im Rechenzentrum läuft. Aus diesem Grund wird es für Unternehmen zu einer Herausforderung, sicherzustellen, dass die Hardware, in die sie viel investieren, die Aufgabe erfüllt, die sie erfüllen muss.

Alex Lesser, Chief Strategy Officer bei Big Data Hadoop und HPC-Plattformanbieter PSCC Labs, sagte: „Dies ist eine Herausforderung für viele Unternehmen, die HPC zur Verarbeitung ihrer Big Data verwenden müssen. Die meisten dieser Unternehmen verfügen über die.“ Wenn sie die traditionelle IT-Infrastruktur unterstützen, verfolgen sie natürlich diesen Ansatz und bauen die analytische Computerumgebung Hadoop selbst auf, da diese Standardhardware verwendet, mit der sie bereits vertraut sind. Beim Hochleistungsrechnen (HPC) besteht die Antwort jedoch normalerweise darin, dies dem Anbieter zu überlassen it "

Unternehmen, die die Einführung von High-Performance Computing (HPC) erwägen, müssen die folgenden vier Schritte unternehmen:

1. Sicherstellen, dass High-Performance-Computing (HPC) auf höchster Ebene unterstützt wird

Die Top-Management- und Vorstandsmitglieder des Unternehmens müssen nicht unbedingt Experten auf dem Gebiet des Hochleistungsrechnens sein, aber sie dürfen nicht ohne deren Verständnis und Unterstützung sein. Diese Manager sollten alle über ausreichende Kenntnisse des Hochleistungsrechnens (HPC) verfügen und die umfangreichen Hardware-, Software- und Schulungsinvestitionen, die für das Unternehmen getätigt werden können, eindeutig unterstützen. Das bedeutet, dass sie über zwei Aspekte aufgeklärt werden müssen: (1) Was HPC ist und warum es sich von gewöhnlicher Analyse unterscheidet und spezielle Hardware und Software erfordert. (2) Warum Unternehmen HPC anstelle von Legacy-Analysen verwenden müssen, um ihre Geschäftsziele zu erreichen. Für beide Aufklärungsbemühungen sollte der Chief Information Officer (CIO) oder Chief Development Officer (CDO) verantwortlich sein.

Lesser sagte: „Die Unternehmen, die HPC am aggressivsten einführen, sind diejenigen, die glauben, sie seien echte Technologieunternehmen. Sie beziehen sich auf den Cloud-Service Amazon AWS, der ursprünglich nur ein Einzelhandelsgeschäft für Amazon war.“ .com Inc. und hat sich mittlerweile zu einem großen Gewinnbringer entwickelt.“

2. Erwägen Sie eine vorkonfigurierte Hardwareplattform, die angepasst werden kann

Unternehmen wie PSSC Labs bieten vorgefertigte Lösungen an und vorkonfigurierte HPC-Hardware. „Wir haben ein Basispaket, das auf HPC-Best Practices basiert, und arbeiten mit Kunden zusammen, um dieses Basispaket an die Rechenanforderungen des Kunden anzupassen“, sagte Lesser und wies darauf hin, dass fast jedes Rechenzentrum einige Anpassungen vornehmen muss.

3. Verstehen Sie die Rendite

Wie bei jeder IT-Investition muss HPC kosteneffektiv sein und das Unternehmen sollte in der Lage sein, einen Return on Investment (ROI) zu erzielen, der bereits vorhanden ist Meinungen von Management und Vorstand klären. „Ein gutes Beispiel ist der Flugzeugbau“, sagte Lesser. „High Performance Computing (HPC) ist eine enorme Investition, die sich jedoch schnell amortisiert, wenn ein Unternehmen entdeckt, dass es HPC zur Simulation von Designs verwenden und fünf Neunen an Genauigkeit erzielen kann und nicht mehr in die Anmietung eines physischen Windkanals investieren muss.“ 🎜>

4. Schulen Sie Ihr eigenes IT-Personal

HPC-Computing ist für das IT-Personal eines Unternehmens kein einfacher Übergang, aber wenn das Unternehmen den Betrieb vor Ort durchführen möchte, sollte das Team für sich selbst aufgestellt sein -Suffizienz.

Zunächst müssen Unternehmen möglicherweise externe Berater beauftragen, um loszulegen. Das Ziel eines Beratungsauftrags sollte jedoch immer zwei sein: (1) die HPC-Anwendung am Laufen zu halten und (2) Wissen an die Mitarbeiter weiterzugeben, damit diese den Betrieb übernehmen können. Damit sollten sich Unternehmen nicht zufrieden geben.

Im Mittelpunkt des HPC-Teams steht der Bedarf an einem Datenwissenschaftler, der die hochkomplexen Algorithmen entwickeln kann, die für Hochleistungsrechnen erforderlich sind, um die Fragen des Unternehmens zu beantworten. Es erfordert außerdem einen Programmierer mit ausgeprägten C+- oder Fortran-Kenntnissen und der Fähigkeit, in einer Parallelverarbeitungsumgebung auf leistungsstarken Systemen zu arbeiten, oder einen Experten für Netzwerkkommunikation.

„Die Quintessenz ist, dass ein Unternehmen, wenn es ein- oder zweimal alle zwei Wochen Jobs ausführt, in die Cloud gehen sollte, um seinen HPC zu hosten: „Aber wenn das Unternehmen HPC-Ressourcen nutzt und Jobs ausführt, B. Pharmaunternehmen oder ein Biologieunternehmen, das es mehrmals am Tag betreibt, wäre es eine Geldverschwendung, es in der Cloud zu betreiben, und man sollte in Betracht ziehen, einen eigenen internen Betrieb zu betreiben.“