Teilen der Technologie des Volcano-Engine-Tools: Verwenden Sie KI, um das Data Mining und das SQL-Schreiben ohne Schwellenwert von Null abzuschließen

Beim Einsatz von BI-Tools stoßen wir häufig auf die Frage: „Wie können wir Daten erzeugen und verarbeiten, wenn wir SQL nicht kennen? Können wir Mining-Analysen durchführen, wenn wir keine Algorithmen kennen?“ Ein professionelles Algorithmenteam führt Data Mining durch. Die Datenanalyse und -visualisierung erscheint ebenfalls relativ fragmentiert. Eine optimierte Durchführung der Algorithmenmodellierungs- und Datenanalysearbeiten ist ebenfalls eine gute Möglichkeit, die Effizienz zu verbessern.

Gleichzeitig stehen für professionelle Data-Warehouse-Teams Dateninhalte mit demselben Thema vor dem Problem der „wiederholten Erstellung, relativ verstreuten Verwendung und Verwaltung“ – gibt es eine Möglichkeit, Daten mit demselben Thema und unterschiedlichen Inhalten gleichzeitig zu erstellen? gleichzeitig in einer Aufgabe? Kann der erstellte Datensatz als Eingabe für die erneute Teilnahme an der Datenkonstruktion verwendet werden?

1. Die visuelle Modellierungsfunktion von DataWind ist da

Die von der Volcano Engine eingeführte BI-Plattform DataWind für intelligente Dateneinblicke hat eine neue erweiterte funktionsvisuelle Modellierung eingeführt.

Benutzer können den komplexen Datenverarbeitungs- und Modellierungsprozess durch visuelles Ziehen, Ziehen und Verbinden in einen klaren und leicht verständlichen Canvas-Prozess vereinfachen. Alle Arten von Benutzern können die Datenproduktion und -verarbeitung gemäß der Idee abschließen ​​Was sie wollen, ist, was sie bekommen, wodurch die Datenproduktionsschwelle gesenkt wird.

Canvas unterstützt die gleichzeitige Erstellung mehrerer Canvas-Prozesse, wodurch die Effizienz der Datenkonstruktion verbessert und die Kosten für die Aufgabenverwaltung gesenkt werden können Arten von Datenbereinigungs- und Feature-Engineering-Algorithmen. Sie decken grundlegende bis erweiterte Datenproduktionsfunktionen ab und erfordern keine Codierung, um komplexe Datenfunktionen zu vervollständigen.

2. Null-Schwellen-SQL-Tools

Die Datenproduktion und -verarbeitung ist der erste Schritt zur Datenbeschaffung und -analyse.

Für technisch nicht versierte Benutzer gibt es einen bestimmten Schwellenwert für die Verwendung der SQL-Syntax. Gleichzeitig können lokale Dateien nicht regelmäßig aktualisiert werden, was dazu führt, dass das Dashboard jedes Mal manuell neu erstellt werden muss. Der für die Datenbeschaffung erforderliche technische Arbeitsaufwand muss häufig eingeplant werden, wodurch die Aktualität und Zufriedenheit der Datenerfassung erheblich verringert wird. Daher ist es besonders wichtig, Tools zur Datenkonstruktion ohne Code zu verwenden.

Im Folgenden sind zwei typische Szenarien aufgeführt, wie die nullschwellige Datenverarbeitung am Arbeitsplatz angewendet wird.

2.1 [Szenario 1] Was Sie denken, ist das, was Sie erhalten. Der Datenverarbeitungsprozess wird visuell abgeschlossen werden durch visuelle Modellierung per Drag-and-Drop-Operator konstruiert.

Wenn Sie die Anzahl der Bestellungen und die Bestellmenge nach Datum und Stadtgranularität sowie die Stadtdaten der 10 größten Tagesverbrauchsmengen erhalten möchten, ist der Vorgang wie folgt:

Allgemeiner DatenverarbeitungsprozessVisueller Modellierungsprozess

1. Bitte rufen Sie technische Studenten die detaillierten Daten der Bestellung ab, einschließlich Bestell-ID/Bestellmenge/Benutzer-ID/Bestellung Datum Stadt usw.
2. Stellen Sie die Daten durch die Bedienung des Perspektivdiagramms als Bestelldatum, Stadt ein und die Indikatoren sind die Summe der Bestellmengen und die Summe der Bestell-IDs #🎜🎜 #
3. Sortieren Sie die Perspektivenergebnisse nach Menge und schreiben Sie dann die Seriennummer #🎜🎜 ##🎜🎜 #
Verwenden Sie Filter, um Top-10-Daten zu filtern #
4. Datenquelle auswählen, eine Bibliothekstabelle auswählen oder eine CSV-Datei hochladen oder eine Verbindung zu LarkSheet herstellen

Feldinformationen filtern Sie müssen Ihre eigenen definierten Feldnamen und Formate verwenden und konfigurieren zur Datums- und Stadtaggregation

# 🎜🎜#
1. Wählen Sie den Top-Wert-Operator und nehmen Sie den Top10-Betrag
#🎜🎜 #
2. Datensatz ausgeben, Daten Der Satz kann zum Zeichnen von Diagrammen in Fengshen angewendet werden

   

   2.2 [Szenario 2] Kombinieren Sie schnell mehrere Tabellen, um Multi-Daten-Assoziationsberechnungen einfach zu lösen.

   Im Datenverarbeitungsprozess müssen mehrere Datenquellen kombiniert und verwendet werden. Es ist schwierig, sie auf hoher Ebene zu beherrschen Vlookup und andere Algorithmen über Excel und dauert lange. Wenn gleichzeitig die Datenmenge groß ist, ist die Computerleistung möglicherweise nicht in der Lage, die kombinierte Berechnung der Daten abzuschließen.

   Wenn zwei Bestelldaten mit einer relativ großen Datenmenge und eine Tabelle mit Kundenattributinformationen vorhanden sind, muss der Gewinnbetrag basierend auf dem Rechnungsbetrag und dem Kostenbetrag berechnet werden, und dann werden die Top-100-Benutzer-Bestellinformationen basierend darauf übernommen Gewinnbeitrag

   Sie müssen die beiden Bestelldaten öffnen und Kopieren Sie die Daten in eine Datei Dann können Sie die Bestelldaten für März/April zu einem einzigen Daten zusammenführen

   Verwenden Sie VloopUp, um die Benutzerdaten in der Bestellung und die Benutzerdaten im Kunden zu finden, und kombinieren Sie dann die beiden Daten, um neue Daten zu generieren Verwenden Sie eine Pivot-Tabelle, um Berechnen Sie den Benutzerrechnungsbetrag und den Kostenbetrag und berechnen Sie dann den Gewinnbetrag.

   Erhalten Sie TopN-Kundeninformationen sortiert nach Gewinnbetrag

   Verbinden Sie die Attributtabelle der Kundeninformationen und verknüpfen Sie die Kundenattributinformationen Wählen Sie die Aggregation aus, um den Rechnungsbetrag und den Kostenbetrag zu berechnen entsprechend dem kundenspezifischen Betrag Wählen Sie die Berechnungsspalte aus, um den Gewinn basierend auf dem Rechnungsbetrag und dem Kostenbetrag zu berechnen. Betrag Sortieren Sie nach Gewinnbetrag, um TopN-Kundeninformationen zu erhalten

   3. KI-Data-Mining ist nicht mehr unerreichbar Wenn die Datenkonstruktion und Datenanalyse nicht mehr ausreichend ist, wann Sie benötigen die Unterstützung von KI-Algorithmen, um mehr versteckte Werte in den Daten zu ermitteln. Studenten des Algorithmenteams leiden möglicherweise unter der Unfähigkeit, gut mit visuellen Diagrammen zu arbeiten, und können keine guten Daten produzieren, die schnell angewendet werden können, während normale Benutzer möglicherweise direkt durch die hohe Schwelle des KI-Codes daran gehindert werden, die Entwicklung dieses Algorithmus zu unterdrücken – was die Anforderungen erhöht Aber aus Angst ist die Nachfrage zu gering und der Wert kann derzeit nicht richtig eingeschätzt werden. Die visuelle Modellierung von DataWind umfasst mehr als 30 gängige KI-Operatorfunktionen. Benutzer müssen lediglich die Funktion des Algorithmus verstehen und die Eingabe- und Trainingsziele des Algorithmusoperators durch Modelltraining konfigurieren, um schnell eine Vorhersage zu erhalten Ergebnisse basierend auf anderen konfigurierten Dateninhalten. ​ # 🎜🎜# Im Folgenden zeigen wir Ihnen anhand zweier typischer Szenarios, wie Sie das Data Mining mit Python durchführen. ​ 3.1 [Grundkenntnisse] Sie können Data Mining durchführen, auch wenn Sie Python nicht kennen Die tägliche Arbeit der Benutzer umfasst im Grunde nichts Schreiben von Python, aber es gibt Data-Mining-Anforderungsszenarien. Er muss ein Customer Intention Mining auf der Grundlage bestehender Kundenstichproben mit hoher Absicht durchführen. An diesem Punkt kann der Data-Mining-Prozess durch visuelle Modellierung aufgebaut werden: Ziehen Sie die Beispieldaten und alle Daten als Dateneingabe hinein. Ziehen Sie es in den Klassifizierungsalgorithmus, z. B. den XGB-Algorithmus für das Modelltraining. Ziehen Sie den Vorhersageoperator hinein und bauen Sie die Beziehung zwischen dem Modell und allen Daten für die Vorhersage auf. Die tatsächlichen Daten und vorhergesagten Ergebnisse werden mit dem Ausgabedatensatz kombiniert, um die Absichtsverteilung aller Benutzerdaten zu analysieren. 3.2 [Fortgeschritten] Sie können komplexe Algorithmusmodelle erstellen, ohne Python Benutzer zu schreiben Sie müssen ein Benutzerrückkaufmodell basierend auf vorhandenen Daten erstellen. Während der Modellerstellung ist es notwendig, nach der Datenbereinigung und Formatkonvertierung einen Gradienten-Boosting-Baum zu verwenden. Zu diesem Zeitpunkt kann der Rückkaufmodellprozess basierend auf der visuellen Modellierung erstellt werden: #🎜 🎜# # 🎜🎜#Zeilen zusammenführen: Füge die Ausgabedatentabellen von n Operatoren (Rechtecke im Bild) zu einer Gesamtdatentabelle zusammen, die auf konsistenten Überschriften basiert In den Benutzerverkaufsdaten sind hier keine Änderungen erforderlich. Ersetzung fehlender Werte: Wenn in der Attributspalte ein Nullwert (null) vorhanden ist, wirkt sich dies auf nachfolgende Modellberechnungen aus. Verwenden Sie den Operator „Fehlende Werte ersetzen“, um den Nullwert durch den angegebenen Standardwert zu ersetzen. Es gibt kein Hinzufügen oder Löschen von Benutzerverkaufsdaten. Es besteht keine Notwendigkeit, die Eigenschaften hier zu ändern. One-Hot-Codierung: Texttypattribute können nicht direkt vom Modelltraining verwendet werden und erfordern eine One-Hot-Codierung in einen numerischen Vektor. Zum Beispiel: #🎜🎜 ##🎜 🎜# Gradient Boosting Tree: Verantwortlich für die Anpassung der Trainingsdaten und die Ausgabe eines Modells, das für die Vorhersage verwendet werden kann (Parameter, die in der Abbildung nicht markiert sind, müssen von Betreuern nicht geändert werden): # 🎜🎜# Aggregation_1: Duplikate in den Vorhersagedaten entfernen und die maximale Wahrscheinlichkeit verwenden. Felder extrahieren: Extrahieren Sie die erforderliche Beschriftung und Wahrscheinlichkeitswertausgabe. 4. Multi-Szenario-, Multi-Task-Konstruktion, Management ist nicht mehr dezentral Als Datenanalyst wird es im täglichen Leben viel Arbeit geben, Datensätze und Daten-Dashboards zu erstellen . Normalerweise handelt es sich bei der aus dem Data Warehouse erhaltenen unteren Tabelle um eine breite Tabelle. Auf dieser Grundlage werden verschiedene Datensatzaufgaben entsprechend den unterschiedlichen Szenarioanforderungen erstellt. Bei der späteren Verwendung stoßen wir häufig auf immer mehr ähnliche Datensätze, die spezifische Logik kann jedoch nicht gut verglichen und bestätigt werden. Zu diesem Zeitpunkt wäre es großartig, wenn die gesamte Datensatzlogik in einem Datensatz konfiguriert und generiert würde und jeder Datensatz durch den Aufgabenprozess beurteilt und definiert werden könnte. Für dieses Szenario können auch die visuellen Modellierungsfunktionen von DataWind sehr gut ergänzt werden. Die visuelle Modellierungsfunktion unterstützt die gleichzeitige Verarbeitung eines einzelnen Datensatzes durch mehrere Logikprozesse, um mehrere Datensätze zu generieren. Nehmen Sie als Beispiel die Verarbeitung von Bestelldaten und Benutzerdaten: Wenn ein Benutzer Bestellstatistiken sehen möchte, kann er den Datenverarbeitungsprozess von Auftragsstatistikdatensatz# aufbauen 🎜🎜# . Es gibt Benutzer, die detaillierte Daten sehen möchten, aber die Detailfelder müssen verarbeitet und bereinigt werden. In diesem Fall kann der Verarbeitungsablauf von Bestelldetails-Datensatz erfolgen konstruiert werden. Einige Benutzer möchten Benutzerattribute kombinieren, um die Bestellverteilung des Benutzers zu zählen, und dann eine Zuordnung mit mehreren Tabellen in Kombination mit der Indikatoraggregation erstellen, um einen statistischen Datensatz für Benutzerbestellungen zu generieren. Die gleiche Logik kann den -Datensatz mit Benutzerbestelldetails unter Mehrfachtabellenzuordnung generieren. Somit wird die Generierung von 4 Datensätzen durch eine Aufgabe und zwei Dateneingaben abgeschlossen. Die 4 Datensätze können eine Datensubjektdomäne erstellen und anschließend verwandte Daten verwenden die Datensätze, die als Ausgabe dieser Aufgabe verfügbar sind. 5. Über uns Volcano Engine Intelligent Data Insight DataWind ist eine erweiterte Unterstützung ABI-Plattform für die Self-Service-Analyse von Big Data auf granularer Ebene. Vom Datenzugriff über die Datenintegration bis hin zur Abfrage und Analyse werden sie schließlich Geschäftsanwendern in Form von visuellen Datenportalen, digitalen Großbildschirmen und Management-Cockpits präsentiert, sodass Daten ihren Wert entfalten können.

Das obige ist der detaillierte Inhalt vonTeilen der Technologie des Volcano-Engine-Tools: Verwenden Sie KI, um das Data Mining und das SQL-Schreiben ohne Schwellenwert von Null abzuschließen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!