Der Bildalgorithmus hilft, die Effizienz zu verbessern und Produktbewertungen zu übertragen

1. Einführung in die Produktbewertung

Zhuanzhuan ist eine E-Commerce-Plattform, die sich hauptsächlich mit Second-Hand-Warentransaktionen beschäftigt. Abhängig von den Transaktionseinheiten können C2C-, C2B-, B2C- und andere Transaktionsbeziehungen gebildet werden. Es handelt sich beispielsweise um ein C2C-Modell für einzelne Benutzer, um Produkte zum Verkauf auf dem freien Markt der Zhuanzhuan-App zu veröffentlichen. Das Unternehmen bietet auch C2B-Dienste für den Postversand und das Tür-zu-Tür-Recycling von Mobiltelefonen und anderen elektronischen Produkten an Gebrauchte B2C-Produkte mit offizieller Inspektion und Garantie sowie Kundendienst. Dieser Artikel konzentriert sich auf die Anwendung von Bildalgorithmen im Überprüfungsprozess von Produktlisten in Zhuanzhuan B2C-Shops.

Aufgrund der nicht standardisierten Natur von Gebrauchtprodukten gibt es Qualitätsunterschiede zwischen verschiedenen Lagerprodukten, selbst unter derselben Artikelnummer. Um das Benutzererlebnis zu verbessern und die Transparenz der Produktinformationen zu erhöhen, verwendet die Plattform bei der Anzeige von Gebrauchtprodukten real aufgenommene Produktbilder und vermeidet die Verwendung gerenderter Bilder von Standardprodukten. Dabei werden die relevanten Ausstellungsbilder jedes Produkts in den Regalen auf verschiedene Aspekte wie Informationsgenauigkeit und Bildqualität überprüft.

In der frühen Phase der Geschäftsentwicklung werden die relevanten Ausstellungsbilder der Produkte in den Regalen manuell überprüft, um die Qualität und Genauigkeit der Bilder sicherzustellen. Der Inhalt der Überprüfung umfasst hauptsächlich die folgenden Aspekte:

• Ob die Anzeige Bilder stimmen mit den tatsächlichen Produkten überein, um zu vermeiden, dass „die Ware nicht stimmt“. Elektronische Produkte wie Mobiltelefone und Tablets müssen sicherstellen, dass sie nicht verschmutzt sind und im Fokus stehen. An den Teilen sollten Manipulationsschutzetiketten angebracht sein.
• Um die Produktbilder in der App anzuzeigen, sollten die Produktbilder angemessen sein so zugeschnitten, dass das Produkt im Bild zentriert ist.
• Mit der Geschäftsentwicklung werden jeden Tag immer mehr Produkte in die Regale gestellt, und die manuelle Überprüfung hat nach und nach einige Probleme bei der Überprüfungseffizienz und -genauigkeit aufgedeckt:

Die Überprüfungsarbeit ist langweilig und leicht zu ermüden Die Wahrscheinlichkeit von Fehlern bei der manuellen Überprüfung ist hoch.

Die Beurteilung der Bildschärfe ist subjektiv und es ist schwierig, die Überprüfungsstandards zwischen verschiedenen Prüfern anzugleichen.

• Der Umfang der manuellen Überprüfung ist allmählich hinter dem Umfang der Produkte in den Regalen zurückgeblieben. Dies führt zu einem Engpass bei der Veröffentlichung von Produkten in den Geschäften.
• Angesichts der sich wiederholenden Arbeit im Prüfungsinhalt verwenden wir Klassifizierung, Regression, Erkennung und andere Technologien im Zusammenhang mit dem Bildfeld und verwenden die Ausgabe von Algorithmusmodellen, um die manuelle Beurteilung zu unterstützen, was nicht nur die Genauigkeit der Prüfungsergebnisse verbessert , sondern verbessert auch die Effizienz des Prüfungsprozesses erheblich.
• 2. Automatischer Überprüfungsplan

Der Inhalt, der während der Regalüberprüfung überprüft werden muss, umfasst die folgenden Punkte:

Ob das Produktanzeigebild und die entsprechenden SKU-Informationen konsistent sind.

Ist das Produktfoto klar?

• Ob das Produkt mit einem Etikett zum Schutz vor Manipulationen versehen ist.
• Ob das Produkt verschmutzt ist.
• Ob sich das Produkt im mittleren Bereich des Bildes befindet.
• Angesichts der Notwendigkeit einer Überprüfung haben wir die folgenden Lösungen entwickelt:

Projektlösung, die überprüft werden muss Ob das Produktanzeigebild und die entsprechende SKU konsistent sind Das Bild stimmt überein ob das Produktfoto klar ist Rückgabeplan Ob das Das Produkt verfügt über einen Plan zur Erkennung von Manipulationsetiketten. Erkennungsschema dafür, ob das Produkt verschmutzt ist oder nicht.

Die folgende Abbildung zeigt ein schematisches Diagramm des Hauptbildes Überprüfen Sie Artikel für die Überprüfung der B2C-Produktliste:

Beispiel für eine Bewertungskarte

2.1, Produktanzeigekarte und entsprechende Informationen. Sind die SKU-Informationen konsistent?

Für alle im Einkaufszentrum verkauften Produkte müssen physische Fotos der anzuzeigenden Produkte gemacht werden. Während des Prozesses der Platzierung der Produkte im Einkaufszentrum kann es aufgrund von manuellen Fehlern und anderen Situationen jedoch zu einer Diskrepanz zwischen dem Produktanzeigebild und den entsprechenden SKU-Informationen kommen. Um ein einfaches Beispiel zu nennen: Die SKU-Informationen des Produkts lauten iphone11-rot, das Anzeigebild ist jedoch iphoneX-grün. Dieses Problem kann dem Bildklassifizierungsproblem entsprechen, das der Bestimmung der Produktkategorie anhand von Bildinformationen entspricht. Die einfache Verwendung des Klassifizierungsalgorithmus kann unser Problem jedoch nicht gut lösen. Bei der direkten Verwendung der Klassifizierung gibt es folgende Probleme:

Die Kategorien sind begrenzt, unabhängig davon, ob das Eingabebild in der Kategorie ist.

Aufgrund der festen Kategorie können neu hinzugefügte Artikel nicht verarbeitet werden.

Aufgrund der oben genannten Probleme mit der Klassifizierungsmethode haben wir die Strategie geändert und eine Bildanpassungslösung verwendet. Indem wir einen besseren Feature-Extraktor trainieren und dann das Bildabgleichsschema verwenden, können wir das Problem des Hinzufügens neuer Kategorien besser lösen. Die von uns ausgewählte Lösung stimmt im Wesentlichen mit den akademischen Lösungen in den Bereichen Gesichtserkennung, Personenreidentifikation, Bildabruf und anderen Bereichen überein. Der Hauptprozess umfasst die Extraktion von Bildmerkmalen, die Berechnung der Bildähnlichkeit, die Sortierung und die Ausgabe von Ergebnissen. Unter diesen steht die Bildmerkmalsextraktion im Mittelpunkt unserer Forschung. Zu den traditionellen Bildmerkmalsmerkmalen gehören SIFT, SURF, ORB-Merkmale. Die auf Deep Learning basierende Bildmerkmalsextraktion verwendet hauptsächlich neuronale CNN-Netze zur Merkmalsextraktion. Das Bild unten zeigt unseren Plan:

Commodity Suk Review Plan

Trainingsphase: In der Trainingsphase wird hauptsächlich Kreuzentropieverlust in Kombination mit Triplettverlust verwendet, um ein Klassifizierungsnetzwerk zu trainieren. Das Backbone-Netzwerk hat MobileNet, ResNet, ShuffleNet, OSNet usw. ausprobiert. Unsere experimentellen Ergebnisse zeigen, dass die Genauigkeit des ResNet-Modells etwas höher ist, sodass ResNet als unser Backbone-Netzwerk ausgewählt wird.

Dreifaches Beispiel

Formel 1 gibt die binäre Kreuzentropieverlustfunktion an, die den Ausgabewert der Probe und die der Probe entsprechende Beschriftung darstellt. Formel 2 gibt die Triplett-Verlustfunktion an, die den Merkmalsvektor darstellt, der der Ankerprobe entspricht, den Merkmalsvektor darstellt, der der Probe derselben Kategorie wie die Ankerprobe entspricht, und den Merkmalsvektor darstellt, der der Probe einer anderen Kategorie entspricht die Ankerprobe. Im Merkmalsraum sollte der Abstand zwischen der negativen Probe und der Ankerpunktprobe minus dem Abstand zwischen der positiven Probe und dem Ankerpunkt größer sein als.

Die Kreuzentropieverlustfunktion ist eine häufig verwendete Klassifizierungsverlustfunktion, und die Triplettverlustfunktion ist eine häufig verwendete Verlustfunktion bei der Gesichtserkennung und der Neuidentifizierung von Fußgängern. Die Triplett-Verlustfunktion kann dafür sorgen, dass die Features in Clustern im Feature-Raum erscheinen. Der Vorteil besteht darin, dass robustere Features erhalten werden können. Wenn die Triplettverlustfunktion allein verwendet wird, konvergiert das Modell langsam. Daher verwenden wir Kreuzentropieverlust und Triplettverlust für gemeinsames überwachtes Lernen, um die Modellkonvergenz zu beschleunigen und die Modellgenauigkeit zu verbessern.

Testphase: In der Testphase wird das trainierte Backbone als Feature-Extraktor ausgewählt, um Einbettungsfeatures zu extrahieren. Extrahieren Sie die Merkmale des Abfragebilds und berechnen Sie die Kosinusähnlichkeit mit den Merkmalen in der Galeriebibliothek, um eine nach Ähnlichkeit sortierte Liste zu erhalten. Wählen Sie dann die Kategorie aus, die dem Top1-Bild in der sortierten Liste entspricht, als Kategorieausgabe des Abfragebilds. Aber als wir die Galerie erstellten, speicherte eine SKU drei Bilder, die verschiedenen Aufnahmeszenen entsprachen, also führten wir knn für die Top5-Ausgabe durch und erhielten die SKU, die dem Abfragebild entspricht.

Online-Betrieb: Um sicherzustellen, dass die vom Matching-Algorithmus ausgegebene SKU korrekt ist, geben wir die Top1-Ähnlichkeit in der sortierten Liste aus. Wenn die Ähnlichkeit unter einem bestimmten Wertschwellenwert liegt, wird eine Alarmmeldung zur manuellen Ausgabe ausgegeben Rezension. Diese Strategie stellt die Genauigkeit der vom Algorithmus ausgegebenen SKU-Informationen sicher.

2.2. Ist das fotografierte Produkt klar?

Während des Fotografierens des Produkts wird das fotografierte Produkt aufgrund der Bewegung des Produkts oder der mangelnden Fokussierung verschwommen sein. Um den Benutzern ein besseres Einkaufserlebnis zu bieten, geben wir diese Produkte während des Überprüfungsprozesses zurück und machen erneut Fotos von den Produkten, die den Anforderungen entsprechen, bevor sie in die Regale gestellt werden können. Die bloße Konzentration darauf, ob das Bild klar ist oder nicht, kann als Bildklassifizierungsproblem verstanden werden. Da die Kennzeichnung, ob ein Bild verschwommen ist, subjektiv ist und die binäre Klassifizierung die Unschärfe des Bildes nicht gut beschreiben kann, geben die Prüfer an vorderster Front häufig unterschiedliche Beurteilungsergebnisse für leicht verschwommene Bilder ab die Konsistenz der Bewertungsergebnisse, was zu guten oder schlechten Produktpräsentationseffekten im Einkaufszentrum führt.

Um das obige Problem zu lösen, unterteilen wir die Unschärfe des Bildes in drei Stufen. Die Unschärfe von hoch nach niedrig ist offensichtlich unscharf, leicht unscharf und klar. Und geben Sie die entsprechenden Punkte an, nämlich 2, 1 bzw. 0 Punkte. Mehrere Personen bewerten dasselbe Bild und entfernen Bilder, die gleichzeitig deutlich verschwommen und klar sind. Die übrigen Bilder werden numerisch normalisiert, um den Unschärfewert des Bildes zu erhalten. Natürlich können wir den Grad der Unschärfe in vier Kategorien unterteilen, z. B. offensichtliche Unschärfe, leichte Unschärfe, subtile Unschärfe und klar, und mehrere Annotatoren das gleiche Bild markieren lassen, sodass wir detailliertere Beschriftungswerte erhalten, was auch möglich ist bessere Vorhersageergebnisse bringen. Aufgrund der begrenzten Ressourcen haben wir die Unschärfe jedoch nur in drei Stufen unterteilt und drei Schüler gebeten, diese zu kommentieren. Daraus wandeln wir das binäre Klassifizierungsproblem in ein Regressionsproblem um und können die Geschäftsstandards gut isolieren. Die folgende Tabelle zeigt, wie wir eine Klassifizierungsaufgabe in eine Regressionsaufgabe umwandeln.

Bildname: Punktzahl Klassenkamerad 1 Punktzahl Klassenkamerad 2 Punktzahl Klassenkamerad 3 Gesamtpunktzahl (0-6) Normalisierte Punktzahl Bild 1 ist offensichtlich unscharf, leicht unscharf, offensichtlich unscharf 55/6=0,83 Bild 2, leicht unscharf, leicht unscharf, offensichtlich unscharf 44/6= 0,67 Bild 3 ist klar, leicht verschwommen und klar 10,17.............

In ähnlicher Weise verwenden wir immer noch das Faltungs-Neuronale Netzwerk und ändern dann den Klassifizierungsverlust Funktion in Regressionsverlustfunktion, wir haben MSE als Verlustfunktion für die Regressionsaufgabe gewählt, die den vorhergesagten Wert der Stichprobe und die Bezeichnung der Stichprobe darstellt.

Der Ausgabewert des Modells stellt den Unschärfegrad des Bildes dar. Nachdem wir die binäre Klassifizierungsaufgabe in eine Regressionsaufgabe umgewandelt haben, kann dies viele Vorteile bringen. Die erste ist die Entkopplung von Algorithmusentwicklung und Geschäft, sodass das Algorithmusmodell nicht aufgrund von Änderungen in den Geschäftsstandards ungültig wird. Gleichzeitig kann die Geschäftsseite je nach Geschäftsanforderungen unterschiedliche Unschärfeschwellenwerte festlegen, um die Klarheit zu steuern Mall-Bild.

2.3. Ob das Produkt über ein Manipulationsschutzetikett verfügt, ob es verschmutzt ist und ob es sich im zentralen Bereich befindet.

Wir verwenden eine Erkennungslösung, um festzustellen, ob das Produkt über ein Manipulationsschutzetikett verfügt, ob es verschmutzt ist. und ob es im zentralen Bereich liegt. Unter diesen drei Elementen ist die Erkennung von manipulationssicheren Etiketten und Elementen relativ einfach. Bei der Erkennung von Manipulationsschutzetiketten sind die Merkmale von Manipulationsschutzetiketten einheitlich, sodass es relativ einfach ist, ein Modell mit hoher Erkennungsgenauigkeit zu trainieren, unabhängig davon, ob das Produkt während der Erkennung zentriert ist, die Artikel groß sind und die Daten Da die Erfassung einfach ist, ist es auch möglich, ein Produkt mit einem Erkennungsmodell mit sehr hoher Genauigkeit zu trainieren.

Die Erkennung von Schmutz ist schwieriger, da einige Schmutzziele klein sind und Proben nicht leicht zu erhalten sind. Um dieses Problem anzugehen, wählen wir während des Datenerfassungsprozesses eine aktive Lernstrategie, um mehr positive Proben zu finden (die positiven Proben in der Erkennungsaufgabe beziehen sich auf die Probenklasse, die wir erkennen müssen). Die Methode ist auch sehr einfach. Wir verwenden einen Datenstapel, um das Erkennungsmodell im Frühstadium zu trainieren, und verwenden dann das Modell, um verdächtige positive Proben aus einem großen Stapel unbeschrifteter Daten mit sehr geringer Konfidenz auszuwählen, und lassen den Stapel dann los Die Anzahl der Daten wird manuell beschriftet. Anschließend wird das Trainingsmodell mit neuen Daten aktualisiert, was einem Zyklus entspricht. Wir können diesen Schritt mehrmals wiederholen und erhalten schließlich ein Erkennungsmodell, das mit der manuellen Erkennung vergleichbar ist.

2.4. Algorithmus-Anwendungsstrategie

Für allgemeine Klassifizierungs-, Erkennungs- und andere Aufgaben in der Computer-Vision können wir nicht garantieren, dass der Rückruf und die Präzision des Modells gleichzeitig 100 % erreichen Muss mit dem tatsächlichen Geschäft kombiniert werden. Überlegen Sie, ob Sie ein Modell mit hoher Präzision oder einem hohen Rückruf auswählen möchten. Die folgende Abbildung zeigt das Kurvendiagramm der Beziehung zwischen Rückrufrate und Präzision (das Bild stammt aus dem Buch von Lehrer Zhou Zhihua)

PR-Kurvendiagramm

Für unser Prüfungsgeschäft wenden wir eine Strategie mit hoher Rückrufrate an. Das heißt: Um sicherzustellen, dass das Modell möglichst viele Produktbilder finden kann, die nicht den Anforderungen entsprechen, wird die Genauigkeit entsprechend reduziert. Nachdem wir Produkte mit fotografischen Problemen zurückgerufen haben, werden wir manuell eingreifen und sie überprüfen, sodass die fälschlicherweise zurückgerufenen Beispiele keine Auswirkungen auf unser Geschäft haben.

Mit Hilfe des Algorithmus wurde die Arbeitsbelastung der Studierenden, die derzeit Elemente überprüfen, um 50 % reduziert. Von den Produktbildern, die vom Algorithmus verarbeitet wurden, passieren 50 % der Produkte den Algorithmus und können direkt in die Mall-App gestellt werden. Die übrigen Produkte, bei denen der Verdacht besteht, dass sie problematisch sind, werden vom Algorithmus identifiziert und dann manuell überprüft.

3. Zusammenfassung

Im ersten Abschnitt haben wir den Hintergrund der Produktüberprüfung vorgestellt, warum wir eine Überprüfung durchführen müssen und den Inhalt der Überprüfung Geschäftsvorteile durch Algorithmen.

In Abschnitt 2 stellen wir das Algorithmusmodul im Detail vor. Abhängig von den zur Überprüfung aufgeführten Punkten haben wir drei Methoden zur Lösung dreier unterschiedlicher Aufgaben übernommen. Außerdem wird die Lösung vorgestellt, die bei der Implementierung des Algorithmus zu hohen Rückrufraten führt und die Vorhersagegenauigkeit opfert, sowie die Machbarkeit dieser Lösung. Schließlich werden die durch den Algorithmus erzielten Ergebnisse angegeben.

Das obige ist der detaillierte Inhalt vonDer Bildalgorithmus hilft, die Effizienz zu verbessern und Produktbewertungen zu übertragen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!