Microsoft gewinnt! Milliarden von Text-Bild-Paar-Trainings, multimodales Florence startet kostenlose Testversion, verfügbar auf Azure

Im November 2021 veröffentlichte Microsoft ein multimodales Vision-Basismodell Florence (Florence), das mehr als 40 Benchmark-Aufgaben bestand und sich problemlos auf viele Aufgaben wie Klassifizierung, Zielerkennung, VQA, Sprechen durch Bilder, Videoabruf und Aktion anwenden ließ Erkennung usw. Aufgabe.

Nach anderthalb Jahren hat Florenz offiziell seine kommerzielle Phase gestartet!

Was kann Florenz tun?

Kürzlich hat Huang Xuedong, Chief Technology Officer von Microsoft Global Artificial Intelligence, offiziell die öffentliche Vorschauversion des Florence-Basismodells von Microsoft angekündigt.

Das Florence-Modell wurde mit Milliarden von Text-Bild-Paaren trainiert und in den Azure Cognitive Vision Service integriert. Es hat die Anforderungen der „Produktionsumgebung“ hinsichtlich „Preis“ und „Leistung“ erreicht und befindet sich derzeit in der kostenlose Probephase.

Verbesserte Vision-Dienste ermöglichen es Entwicklern, hochmoderne, marktreife und verantwortungsvolle Computer-Vision-Anwendungen für verschiedene Branchen zu erstellen. Kunden können ihre Daten nahtlos digitalisieren, analysieren und in Interaktionen in natürlicher Sprache verknüpfen, um präzisere Informationen aus Bild- und Videoinhalten abzuleiten, Benutzer vor schädlichen Inhalten zu schützen, die Sicherheit zu erhöhen und die Reaktion auf Vorfälle zu beschleunigen.

Die tatsächlichen Funktionen von Florence sind ebenfalls sehr leistungsstark und Benutzer können sie in Vision Studio „out of the box“ erleben.

Experience-Website: https://portal.vision.cognitive.azure.com/gallery/featured

Zu den Besonderheiten gehören:

Dichte Bildunterschriften (detaillierte Beschreibung): Kann automatisch umfangreiche Beschreibungsinformationen und Designvorschläge bereitstellen, die zugänglich sind Alternativtext, SEO, intelligente Fotoverwaltung und mehr zur Unterstützung digitaler Inhalte.

Bildabfrage: Verwenden Sie Abfragen in natürlicher Sprache, um Ähnlichkeiten zwischen Bildern und Text nahtlos zu messen und so Suchempfehlungen und Anzeigen zu verbessern.

Hintergrundentfernung: Personen und Objekte können einfach vom ursprünglichen Hintergrund getrennt und durch andere Hintergrundszenen ersetzt werden, wodurch das Erscheinungsbild des Bildes verändert wird.

Modellanpassung: Reduzieren Sie die Kosten und den Zeitaufwand für die Bereitstellung maßgeschneiderter Modelle, um individuelle Geschäftsanforderungen mit höherer Genauigkeit zu erfüllen, selbst wenn nur eine kleine Anzahl verfügbarer Bilder vorhanden ist.

Videozusammenfassung: Suchen und interagieren Sie mit Videoinhalten auf die gleiche intuitive Art und Weise, wie Menschen denken und schreiben. Kann bei der Suche nach relevanten Inhalten helfen und erfordert keine zusätzlichen Metadaten.

Reddit

Tiffany Ong, Produktmanagerin für Verbraucherprodukte bei Reddit, sagte, dass es durch die Vision-Technologie von Microsoft für Benutzer einfacher werden kann, Inhalte auf Reddit zu entdecken und zu verstehen.

Neu erstellte Bildbeschreibungen erleichtern Benutzern den Zugriff auf Reddit. Mithilfe von Bildbeschreibungen können Benutzer die Suchergebnisse von Artikeln verbessern und Reddit-Benutzern mehr Möglichkeiten geben, Bilder auf der Website zu erkunden, an Gesprächen teilzunehmen und letztendlich Verbindungen und eine Community aufzubauen Wahrnehmung.

Florence ist in der Lage, bis zu 10.000 Tags pro Bild zu generieren, was Reddit mehr Kontrolle über die Anzahl der Objekte in einem Bild gibt und dabei hilft, bessere Bildbeschreibungen zu generieren.

Microsoft 365

Neben Microsoft Data Center verbessert Microsoft auch die Funktionen visueller Dienste in Microsoft 365-Anwendungen (einschließlich Teams, PowerPoint, Outlook, Word, Designer, OneDrive).

Mit Hilfe von Bildsegmentierungsfunktionen treibt Teams Innovationen im digitalen Raum voran und hebt das virtuelle Meeting-Erlebnis auf ein neues Niveau.

PowerPoint, Outlook und Word verbessern die Barrierefreiheit durch Bildbeschreibungen, die Text automatisch ersetzen.

Microsoft Designer und OneDrive vereinfachen die Auffindbarkeit und Bearbeitung von Bildern durch verbesserte Bildbeschreibungen, Bildsuche und Hintergrundgenerierung.

Microsoft-Rechenzentren nutzen Vision Services, um die Sicherheit und Zuverlässigkeit der Infrastruktur zu verbessern.

LinkedIn

Jennison Asuncon, Leiterin für Barrierefreiheit bei LinkedIn, sagte, dass mehr als 40 % der Beiträge auf LinkedIn mindestens ein Bild enthalten. Für Benutzer, die blind oder sehbehindert sind, können visuelle Dienste allen Benutzern helfen Gleichberechtigten Zugang zum Lesen zu ermöglichen und ihnen die Teilnahme an Online-Gesprächen zu ermöglichen.

Mit Azure Visual Cognitive Service kann LinkedIn eine automatische Bildbeschreibungsbearbeitung und Unterstützung für alternativen Text bereitstellen, was eine neue Erfahrung darstellt.

Darüber bin ich nicht nur begeistert, meine Kollegen haben gerade ein Foto von sich selbst bei der Veranstaltung geteilt und LinkedIn-CEO Ryan Roslansky war auf dem Foto zu sehen.

Verantwortungsbewusst innovieren

Die Überprüfung der Grundsätze für verantwortungsvolle künstliche Intelligenz zeigt, wie Microsoft sich für die Entwicklung künstlicher Intelligenzsysteme einsetzt, um die Zugänglichkeit der Welt zu verbessern.

Microsoft setzt sich dafür ein, Organisationen dabei zu helfen, das Beste aus künstlicher Intelligenz herauszuholen, und investiert stark in Projekte, die Technologie, Ressourcen und Fachwissen bereitstellen, um diejenigen zu befähigen, die an der Schaffung einer nachhaltigeren, sichereren und zugänglicheren Welt arbeiten.

Multimodalität ist die Zukunft

Viele Technologiegiganten, darunter Microsoft und Google, sind überraschend konsequent in der Entwicklungsrichtung der künstlichen Intelligenz. Sie glauben, dass „multimodale Modelle“ der beste Weg sind, die Fähigkeiten von Systemen der künstlichen Intelligenz zu verbessern Das Modell kann Sprache, Bilder, Videos und Audios gleichzeitig verstehen und Aufgaben ausführen, die ein modales Modell nicht ausführen kann, z. B. das Hinzufügen von Textbeschreibungen zu Videos.

Warum nicht mehrere „einzelmodale“ Modelle aneinanderreihen, um denselben Zweck zu erreichen, z. B. ein Modell zum Verstehen von Bildern und ein anderes Modell zum Verstehen von Sprache zu verwenden?

Der erste Grund ist, dass multimodale Modelle mit den von anderen Modalitäten bereitgestellten Hintergrundinformationen in manchen Fällen bei derselben Aufgabe eine bessere Leistung erbringen können als monomodale Modelle.

Zum Beispiel kann ein KI-Assistent, der Bilder, Preisdaten und die Kaufhistorie versteht, bessere personalisierte Produktempfehlungen geben als eine KI, die „nur Preisdaten versteht“.

Und aus rechnerischer Sicht sind multimodale Modelle tendenziell effizienter, was die Geschwindigkeit der Datenverarbeitung erhöhen und die Back-End-Kosten senken kann.

Es besteht kein Zweifel daran, dass alle Unternehmen bestrebt sind, Kosten zu senken und die Effizienz zu steigern.

Florence ist in der Lage, Bilder, Videos und Sprachen sowie die Beziehungen zwischen diesen Modalitäten zu verstehen, sodass sie einige Aufgaben erledigen kann, die mit einer einzelnen Modalität nicht erledigt werden können, wie zum Beispiel die Messung der Ähnlichkeit zwischen Bildern und Text, Segmentieren Sie Objekte in Fotos und fügen Sie sie dann auf einem anderen Hintergrund ein.

Fast alle KI-Modellschulungen sind mit Datenschutzproblemen konfrontiert. John Montgomery, Corporate Vice President (CVP) von Azure AI, gab nicht viele Informationen preis, als er zu „Florences Trainingsdaten“ antwortete. „Lotly erworbene“ Datenquellen, einschließlich Daten von Partnern, sagte Montgomery, dass die Entfernung potenziell problematischer Inhalte aus den Trainingsdaten auch ein gemeinsames Merkmal öffentlicher Trainingsdatensätze sei.

Montgomery ist der Ansicht, dass es bei der Verwendung eines großen Basismodells am wichtigsten ist, die Qualität des Trainingsdatensatzes sicherzustellen und eine Grundlage für das adaptive Modell für jede visuelle Aufgabe zu schaffen hat Tests auf Fairness, kontradiktorische und herausfordernde Fälle durchlaufen und implementiert denselben Inhaltsüberprüfungsdienst wie Azure Open AI Service und DALL-E.

In Zukunft können Verbraucher mit Florence noch mehr tun, beispielsweise Fehler im Herstellungsprozess erkennen und Self-Checkout in Einzelhandelsgeschäften ermöglichen.

Montgomery weist jedoch darauf hin, dass diese Anwendungsfälle eigentlich kein multimodales Visionsmodell erfordern, behauptet jedoch, dass Multimodalität dabei etwas Wertvolles hinzufügen kann.

Florence ist ein „völlig neu durchdachtes“ visuelles Modell, das eine völlig neue Welt unbekannter Möglichkeiten eröffnet, sobald ein einfacher und qualitativ hochwertiger Übersetzungsprozess zwischen Bildern und Text erreicht wird.

Kunden können eine deutlich verbesserte Bildsuche erleben, Bild- und Visionsmodelle sowie andere Modelltypen wie Sprache und Sprache in völlig neue Anwendungstypen trainieren und die Qualität benutzerdefinierter Modelle ganz einfach verbessern.

Das obige ist der detaillierte Inhalt vonMicrosoft gewinnt! Milliarden von Text-Bild-Paar-Trainings, multimodales Florence startet kostenlose Testversion, verfügbar auf Azure. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!