Wie man große Datenmengen in JavaScript verarbeitet

In früheren Artikeln haben wir JavaScript-Ausführungs- und Browserbeschränkungen sowie Möglichkeiten zur Behebung von Warnungen mit dem Timer-basierten Pseudo-Threads untersucht. Heute werden wir nach Möglichkeiten suchen, um große Datenmengen im Browser zu verarbeiten. Vor einigen Jahren haben Entwickler nie Alternativen zur komplexen serverseitigen Verarbeitung betrachtet. Dieses Konzept hat sich geändert, und viele AJAX -Anwendungen senden große Datenmengen zwischen dem Client und dem Server. Darüber hinaus kann der Code das DOM aktualisieren, was ein besonders zeitaufwändiger Browserprozess ist. Der Versuch, diese Informationen sofort zu analysieren, kann die Anwendung nicht mehr reagieren und eine Skriptwarnung werfen. JavaScript -Timer können dazu beitragen, dass Browser -Verriegelungsprobleme durch die Aufteilung eines langen Datenanalyseprozesses in kürzere Blöcke unterteilt werden. Hier ist der Beginn unserer JavaScript -Funktion:

function ProcessArray(data, handler, callback) {

processArray () die Funktion akzeptiert drei Parameter:

1. Daten: Das Array von Elementen, die verarbeitet werden können
2. Handler: Funktionen, die einzelne Datenelemente
verarbeiten
3. Rückruf: Alle optionalen Funktionen, die nach der Verarbeitung abgeschlossen sind.

Als nächstes definieren wir die Konfigurationsvariable:

  var maxtime = 100;        // 每块处理时间（毫秒）
  var delay = 20;       // 处理块之间的延迟（毫秒）
  var queue = data.concat();    // 克隆原始数组

Maxtime gibt die maximale Anzahl von Millisekunden an, die pro Verarbeitungsblock zulässig sind. Verzögerung ist die Zeit (in Millisekunden) zwischen den Verarbeitungsblöcken. Schließlich ist die Warteschlange, die das Originaldatenarray kloniert - in allen Fällen nicht erforderlich, aber da das Array mit Referenz übergeben wird und wir jedes Element abwerfen, ist dies die sicherste Option. Wir können jetzt mit SetTimeout mit der Verarbeitung beginnen:

  setTimeout(function() {

    var endtime = +new Date() + maxtime;

    do {
      handler(queue.shift());
    } while (queue.length > 0 && endtime > +new Date());

Berechnen Sie zuerst die Endzeit - dies ist eine zukünftige Zeit, die von der Verarbeitung gestoppt werden muss. Tun Sie…, während die Schleife nacheinander in die Warteschlange gestellt werden und bis zum Abschluss jedes Artikels fortgesetzt werden. HINWEIS: Warum verwenden Sie es? JavaScript unterstützt während der Schleifen und tun ... während Schleifen. Der Unterschied besteht darin, dass die DO… während die Schleife sicherstellt, dass Iterationen mindestens einmal durchgeführt werden. Wenn wir während der Schleife einen Standard verwenden, kann der Entwickler eine niedrige oder negative Maxtime festlegen, und die Array -Verarbeitung beginnt niemals oder vollständig. Schließlich stellen wir fest, ob mehr Projekte verarbeitet und gegebenenfalls unsere Handhabungsfunktion nach einer kurzen Verzögerung aufrufen:

    if (queue.length > 0) {
      setTimeout(arguments.callee, delay);
    }
    else {
      if (callback) callback();
    }

  }, delay);
}
// ProcessArray 函数结束

Nachdem jedes Projekt verarbeitet wurde, wird die Rückruffunktion ausgeführt. Wir können kleine Testfälle verwenden, um ProcessArray () zu testen:

// 处理单个数据项
function Process(dataitem) {
  console.log(dataitem);
}

// 处理完成
function Done() {
  console.log("Done");
}

// 测试数据
var data = [];
for (var i = 0; i < 1000; i++) {
  data.push(i);
}

ProcessArray(data, Process, Done);

Dieser Code wird in jedem Browser ausgeführt (einschließlich IE6). Dies ist eine praktikable Cross-Browser-Lösung, aber HTML5 bietet eine bessere Lösung! In meinem nächsten Beitrag werden wir Webarbeiter diskutieren…

FAQs (FAQ) auf JavaScript für große Datenverarbeitung

Was sind die besten Praktiken für den Umgang mit großen Datensätzen in JavaScript?

Aufgrund der einzigen Thread-Natur von JavaScript kann es schwierig sein, große Datensätze in JavaScript zu verarbeiten. Es gibt jedoch einige Best Practices, denen Sie folgen können. Erwägen Sie zunächst die Verwendung von Webarbeitern. Sie ermöglichen es Ihnen, JavaScript in einem separaten Hintergrund -Thread auszuführen und zu verhindern, dass eine große Datenverarbeitung die Benutzeroberfläche blockiert. Zweitens verwenden Sie die Streaming -Datenverarbeitungstechnologie. Bibliothek wie Oboe.js kann Ihnen helfen, Daten zu verarbeiten, wenn sie eintreffen, wodurch der Speicherverbrauch verringert wird. Erwägen Sie schließlich die Verwendung einer Datenbank. IndexedDB ist eine API auf niedriger Ebene für die clientseitige Speicherung großer Mengen strukturierter Daten, mit denen Hochleistungssuche an großen Datensätzen durchgeführt werden kann.

Kann JavaScript in der Datenwissenschaft verwendet werden?

Ja, JavaScript kann in der Datenwissenschaft verwendet werden. Während es traditionell nichts mit Data Science zu tun hat, macht der Aufstieg von JavaScript und die Entwicklung von Bibliotheken und Frameworks für Datenanalyse und Visualisierung eine praktikable Option. Bibliothek wie Danfo.js bietet Datenmanipulationstools, ähnlich wie die Python Pandas Library, und D3.JS ist ein leistungsstarkes Tool zur Datenvisualisierung.

Wie optimieren Sie JavaScript für die groß angelegte Datenverarbeitung?

Die Optimierung von JavaScript für die groß angelegte Datenverarbeitung beinhaltet mehrere Strategien. Verwenden Sie zunächst effiziente Datenstrukturen. Das integrierte Array- und Objekttypen von JavaScript sind nicht immer die effizientesten Typen für große Datensätze. Bibliothek wie Iminual.js bietet eine effizientere Alternative. Zweitens sollten Sie typisierte Arrays verwenden, um große Mengen an Binärdaten zu verarbeiten. Schließlich werden asynchrone Programmierungstechniken verwendet, um zu verhindern, dass der Hauptfaden während der Datenverarbeitung blockiert wird.

Was sind die Einschränkungen bei der Verwendung von JavaScript für die Datenverarbeitung in großem Maßstab?

JavaScript hat einige Einschränkungen bei der großen Datenverarbeitung. Die Natur mit einer Thread kann bei der Bearbeitung großer Datensätze Leistungsprobleme verursachen. Darüber hinaus sind die numerischen Typen von JavaScript für präzise numerische Berechnungen nicht geeignet, was ein Problem in Datenwissenschaftsanwendungen sein kann. Schließlich fehlen JavaScript einige erweiterte Datenanalysebibliotheken in Sprachen wie Python und R.

So verwenden Sie Webarbeiter, um eine groß angelegte Datenverarbeitung in JavaScript durchzuführen?

Mit

Web Worten können Sie JavaScript -Code in einem separaten Thread im Hintergrund ausführen. Dies ist besonders nützlich für komplexe Datenverarbeitungsaufgaben, die ansonsten den Hauptfaden blockieren und Leistungsprobleme verursachen. Um Webarbeiter zu verwenden, erstellen Sie ein neues Arbeiterobjekt und übergeben es die URL des Skripts, die im Worker -Thread ausgeführt werden soll. Sie können dann die Postmessage -Methode und den OnMessage -Event -Handler verwenden, um mit dem Arbeiter -Thread zu kommunizieren.

Was ist Streaming -Datenverarbeitung in JavaScript?

Streamed -Datenverarbeitung ist eine Technik, die Daten verarbeitet, wenn sie eintrifft, anstatt darauf zu warten, dass der gesamte Datensatz verfügbar ist. Dies ist besonders nützlich für große Datensätze, da es die Speicherverwendung reduziert und die Verarbeitung früher beginnt. In JavaScript können Sie Bibliotheken wie Oboe.js verwenden, um die Streaming -Datenverarbeitung zu implementieren.

Wie verwendet ich IndexedDB, um eine große Datenverarbeitung in JavaScript durchzuführen?

IndexedDB ist eine API auf niedriger Ebene für Clients, um große Mengen strukturierter Daten zu speichern. Sie können große Datensätze im Browser Ihres Benutzers speichern, abrufen und durchsuchen. Um IndexedDB zu verwenden, öffnen Sie zuerst eine Datenbank und erstellen dann einen Objektspeicher, um Ihre Daten zu speichern. Sie können dann Transaktionen verwenden, um Daten zu lesen und zu schreiben.

Was sind typisierte Arrays in JavaScript und wie werden sie für die große Datenverarbeitung verwendet?

Typed Arrays ist ein Merkmal von JavaScript, das eine Möglichkeit bietet, binäre Daten zu verarbeiten. Sie sind besonders nützlich für große Datenverarbeitungsaufgaben, da Sie Daten auf speichersparende Weise verarbeiten können. Um ein getipptes Array zu verwenden, erstellen Sie zuerst einen ArrayBuffer zum Speichern Ihrer Daten und verwenden dann einen der typisierten Array -Typen, um eine Ansicht auf den Puffer zu erstellen.

Welche Bibliotheken kann ich für die Datenvisualisierung in JavaScript verwenden?

sind mehrere Bibliotheken für die Datenvisualisierung in JavaScript verfügbar. D3.JS ist eine der leistungsstärksten und flexibelsten Bibliotheken, mit denen Sie eine Vielzahl von visuellen Effekten erstellen können. Chart.js ist eine weitere beliebte Wahl, die eine einfachere API für gemeinsame Diagrammtypen bietet. Weitere Optionen sind Highcharts, Google -Diagramme und Plotly.js.

Wie hilft die asynchrone Programmierung JavaScript bei der Durchführung einer großräumigen Datenverarbeitung?

Asynchrones Programmieren ermöglicht es JavaScript, andere Aufgaben auszuführen und gleichzeitig auf die Abschluss der Datenverarbeitung zu warten. Dies ist besonders nützlich für große Datenverarbeitungsaufgaben, da verhindert wird, dass der Hauptfaden blockiert wird, was zu einer reibungsloseren Benutzererfahrung führt. JavaScript bietet mehrere Funktionen für asynchrone Programme, einschließlich Rückrufe, Versprechen und Async/Aused.

Das obige ist der detaillierte Inhalt vonWie man große Datenmengen in JavaScript verarbeitet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!