So verbessern Sie die Datenqualität, um den Anforderungen von KI-Projekten besser gerecht zu werden

​Übersetzer |. Cui Hao

Rezensent |.Eröffnung

In der heutigen Gesellschaft ist die Entwicklung künstlicher Intelligenz zu einem Schwerpunkt globaler Unternehmen und Regierungen geworden. Ein weiteres Problem, das eng mit der künstlichen Intelligenz zusammenhängt, wurde jedoch ignoriert: die schlechte Datenqualität.

KI-Algorithmen sind auf zuverlässige Daten angewiesen, um optimale Ergebnisse zu erzielen – wenn die Daten verzerrt, unvollständig, unzureichend oder sogar ungenau sind, können die Folgen verheerend sein.

Künstliche Intelligenzsysteme, die Krankheiten von Patienten identifizieren, sind ein gutes Beispiel für schlechte Datenqualität, die zu nachteiligen Folgen führt. Wenn nicht genügend Daten vorliegen, können diese Systeme fehlerhafte Diagnosen und ungenaue Vorhersagen erstellen, was zu Fehldiagnosen und verzögerter Behandlung führt. Beispielsweise ergab eine Studie der Universität Cambridge mit mehr als 400 Tools zur Diagnose von Covid-19, dass KI-generierte Berichte aufgrund der Verwendung fehlerhafter Datensätze völlig unbrauchbar waren.

Mit anderen Worten: Wenn die Daten nicht gut genug sind, werden KI-Initiativen verheerende Folgen für die reale Welt haben.

Was bedeutet „gut genug“ Daten?

Es gab schon immer eine große Debatte darüber, welche Daten „gut genug“ sind. Einige sagen, dass es keine ausreichend guten Daten gibt. Andere sagen, dass „zu gute“ Daten zu einer Analyselähmung führen können (übersetzt: sollte sich auf Überanpassung beziehen) – während HBR direkt darauf hinweist, dass schlechte Informationen dazu führen, dass maschinelle Lernwerkzeuge nicht funktionieren.

Bei WinPure werden ausreichend gute Daten definiert als „vollständig, genau, gültig und können in riskanten Geschäftsprozessen auf einem Niveau verwendet werden, das von individuellen Zielen und Geschäftsumständen abhängt.“

Die meisten Unternehmen haben mit der Datenqualität zu kämpfen und Regierungsführung, obwohl keiner dies zugeben würde. Diese Tortur erhöht die Spannung des Projekts weiter und überfordert sie. Sie können sich vorstellen, dass sie unter enormem Druck stehen, Pläne für künstliche Intelligenz einzusetzen, um einen Wettbewerbsvorteil zu wahren. Leider ist es unwahrscheinlich, dass Probleme wie schmutzige Daten in der Vorstandsetage diskutiert werden, bis das Projekt scheitert.

Wie wirken sich schlechte Daten auf Systeme der künstlichen Intelligenz aus?

Datenqualitätsprobleme treten zu Beginn des Prozesses auf, wenn der Algorithmus anhand von Trainingsdaten lernt. Wenn einem KI-Algorithmus beispielsweise ungefilterte Social-Media-Daten zugeführt werden, extrahiert er Beschimpfungen, rassistische Kommentare und frauenfeindliche Bemerkungen, wie der KI-Bot von Microsoft zeigt. Neuerdings wird die Unfähigkeit künstlicher Intelligenz, dunkelhäutige Menschen zu erkennen, auch auf Probleme mit Trainingsdaten zurückgeführt.

Wie hängt das mit der Datenqualität zusammen?

Mangelnde Datenverwaltung, mangelndes Bewusstsein für Datenqualität und isolierte Datenansichten sind die Hauptursachen für schlechte Datenqualität.

Was tun?

Wenn Unternehmen erkennen, dass es ein Problem mit der Datenqualität gibt, geraten sie in Panik und stellen neue Mitarbeiter ein. Indem man blind Berater, Ingenieure und Analysten anheuert, um Daten zu diagnostizieren und zu bereinigen, in der Hoffnung, das Problem so schnell wie möglich zu lösen. Leider vergingen Monate und trotz der ausgegebenen Millionen Dollar schien das Problem nicht zu verschwinden. Ein spontaner Ansatz bei Datenqualitätsproblemen hilft selten.

Echte Veränderung beginnt an der Basis.

Wenn Sie möchten, dass Ihr KI/ML-Projekt in die richtige Richtung geht, unternehmen Sie diese drei wichtigen Schritte.

Erkennen und anerkennen Sie Datenqualitätsprobleme

Bewerten Sie zunächst die Datenqualität, indem Sie eine Kultur der Datenkompetenz aufbauen. Bill Schmarzo ist hier eine starke Stimme und empfiehlt den Einsatz von Design Thinking, um eine Kultur zu schaffen, in der jeder die Datenziele und Herausforderungen des Unternehmens versteht und zu ihnen beiträgt.

Im heutigen Geschäftsumfeld liegen Daten und Datenqualität nicht mehr allein in der Verantwortung der IT- oder Datenteams. Geschäftsanwender müssen sich über Probleme wie schmutzige Daten sowie inkonsistente und doppelte Daten im Klaren sein.

Also beginnen Sie damit, die Datenqualitätsschulung zu einer wertvollen organisatorischen Anstrengung zu machen und Teams in die Lage zu versetzen, schlechte Datenattribute zu identifizieren.

Mit der Checkliste unten können Sie die Datenqualität verfolgen.

Datengesundheits-Checkliste

Wie erfasst, speichert und verwaltet man Daten?

• Wie viele Datenquellen sind an Ihre zentrale Datenbank angeschlossen und wie gut werden die Daten verbreitet?
• Wie gut verwalten Sie Ihre Daten? Haben Sie Data-Governance-Standards implementiert? Wie viele Daten sind strukturiert, halbstrukturiert oder unstrukturiert?
• Wie viel geben Sie für die manuelle Datenreparatur im Vergleich zur automatisierten Datenverwaltung aus? Wie koordinieren sich Ihre Teams beim Zugriff auf und bei der Verarbeitung von Daten? Kommt es häufig zu internen Konflikten zwischen IT- und Fachanwendern?
• Wie ist Ihre Datenqualität? Sind Ihre Daten aktuell, vollständig, genau, eindeutig und folgen sie standardisierten Regeln?
• Entwickeln Sie einen Plan zur Einhaltung von Qualitätskennzahlen

Unternehmen machen oft Fehler, wenn es um Probleme mit der Datenqualität geht. Beispielsweise werden Datenanalysten für die Durchführung alltäglicher Datenbereinigungsaufgaben eingestellt, anstatt sich auf Planung und strategische Arbeit zu konzentrieren. Einige Unternehmen nutzen Datenverwaltungstools, um Daten ohne Plan zu bereinigen, zu deduplizieren, zu konsolidieren und zu löschen. Leider können Werkzeuge und Talente Probleme nicht isoliert lösen. Strategien, die die Datenqualitätsdimensionen erfüllen, sind die grundlegende Lösung des Problems.

Die Strategie muss die Probleme der Datenerfassung, -kennzeichnung, -verarbeitung und des Datenabgleichs mit KI/ML-Projekten lösen. Wenn beispielsweise ein KI-Rekrutierungsprogramm nur männliche Kandidaten für technische Positionen auswählt, sind die Trainingsdaten des Programms eindeutig verzerrt, unvollständig (es werden nicht genügend Daten über weibliche Kandidaten gesammelt) und ungenau. Daher dienen diese Daten nicht dem eigentlichen Zweck des KI-Projekts.

Die Anforderungen an die Datenqualität gehen über die täglichen Aufgaben der Datenbereinigung und -reparatur hinaus. Daher müssen vor Beginn eines Projekts Datenintegritäts- und Governance-Standards festgelegt werden. Es bewahrt Projekte vor dem Scheitern!

Stellen Sie die richtigen Fragen und legen Sie Verantwortung fest.

Es gibt keinen universellen Standard für „ausreichend gute Daten oder Datenqualitätsniveau“. Stattdessen hängt alles von den Informationsmanagementsystemen des Unternehmens, den Data-Governance-Richtlinien, der Kenntnis der Team- und Geschäftsziele und vielen anderen Faktoren ab.

Aber bevor das Projekt beginnt, müssen dem Team einige Fragen gestellt werden:

• Was ist die Quelle unserer Informationen und wie erfolgt die Datenerhebung?
• Welche Probleme können sich auf den Datenerfassungsprozess auswirken und positive Ergebnisse gefährden?
• Welche Informationen vermitteln die Daten? Entspricht es den Datenqualitätsstandards (d. h. die Informationen sind korrekt, absolut zuverlässig und konstant)?
• Ist sich die benannte Person der Bedeutung von Datenqualität und geringer Qualität bewusst?
• Sind Rollen und Verantwortlichkeiten definiert? Wer muss beispielsweise einen regelmäßigen Datenbereinigungsplan einhalten? Wer ist für die Erstellung von Stammdatensätzen verantwortlich?
• Sind die Daten zweckmäßig?

Stellen Sie die richtigen Fragen, weisen Sie die richtigen Rollen zu, implementieren Sie Datenqualitätsstandards und helfen Sie Ihrem Team, Herausforderungen zu meistern, bevor sie entstehen!

Zusammenfassung

Datenqualität bedeutet mehr als nur die Behebung von Tippfehlern oder Fehlern. Es stellt sicher, dass KI-Systeme nicht diskriminierend, irreführend oder ungenau sind. Vor dem Start eines KI-Projekts ist es notwendig, die Herausforderungen der Datenqualität anzugehen, indem Fehler in den Daten behoben werden. Starten Sie außerdem ein organisationsweites Datenkompetenzprogramm, um jedes Team mit dem Gesamtziel zu verbinden.

Einführung des Übersetzers

Cui Hao, 51CTO-Community-Redakteur, leitender Architekt, verfügt über 18 Jahre Erfahrung in der Softwareentwicklung und Architektur sowie 10 Jahre Erfahrung in verteilter Architektur.

Originaltitel:​​Ist Ihre Daten gut genug für Ihre Pläne für maschinelles Lernen/KI?​​, Autor: Farah Kim​

Das obige ist der detaillierte Inhalt vonSo verbessern Sie die Datenqualität, um den Anforderungen von KI-Projekten besser gerecht zu werden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!