Wang Jian, Leiter der Abteilung für große Fernerkundungsmodelle der Ant Group, erforscht und praktiziert multimodale Fernerkundungs-Großmodelle und bringt eine tiefgreifende Interpretation mit

Am 5. Juli wurde unter der Leitung des Organisationskomitees der World Artificial Intelligence Conference und der Volksregierung des Bezirks Xuhui, Shanghai, der WAIC Yunfan Award und der Wettbewerb für künstliche Intelligenz 2024 vom Shanghai Artificial Intelligence Laboratory, dieser Website und dem veranstaltet Die Global University Artificial Intelligence Academic Alliance wurde erfolgreich abgehalten. Das Forum brachte mehr als 30 ehemalige und neue Yunfan-Absolventen von Universitäten, Forschungseinrichtungen und Unternehmen im In- und Ausland zusammen, darunter die Stanford University, die Oxford University, die UCLA, die University of California, die ETH Zürich, die University of Hong Kong, die Tsinghua University und die Peking University , Shanghai Jiao Tong University usw. Die Preisträger nahmen offline an der Konferenz teil, sammelten das Wissen internationaler junger KI-Wissenschaftler, erkundeten aktiv die Grenzen der KI-Fähigkeiten und brachten neue Energie in Chinas KI-Entwicklungsplan ein. Wang Jianzuo, der Verantwortliche für große Fernerkundungsmodelle der Ant Group, hielt als einer der Vertreter des WAIC Yunfan Award 2024 eine Grundsatzrede auf dem Forum mit dem Titel „Erforschung und Praxis multimodaler großer Modelle für die Fernerkundung“.

Wang Jian fasste die Möglichkeiten für die Entwicklung großer Fernerkundungsmodelle und den aktuellen Fortschritt der Branche zusammen und stellte das von der Ant Group entwickelte multimodale Fernerkundungsmodell SkySense mit 2 Milliarden Parametern auf der Grundlage des großen Ant Bailing-Modells vor Plattform sowie den Open-Source-Plan von SkySense. Durch technologische Innovationen in den Bereichen Daten, Modellarchitektur und unbeaufsichtigte Pre-Training-Algorithmen belegte SkySense in 17 Bewertungen den ersten Platz für sieben gängige Fernerkundungsaufgaben, darunter Landnutzungsüberwachung und Erkennung von Änderungen an Oberflächenmerkmalen. Gleichzeitig führte Wang Jian auch die Anwendung von SkySense in den Bereichen ländliche Finanzierung, Ameisenwaldschutz und andere Szenarien ein.

Das Folgende ist die Abschrift von Wang Jians Rede:

Guten Tag allerseits! Ich bin Wang Jian von der Ant Group. Ich freue mich sehr, die Forschung und Praxis der Ant Group in Richtung multimodaler Fernerkundungsgroßmodelle beim Yunfan Award Forum zu teilen. Mein Vortrag beginnt mit den folgenden drei Aspekten: erstens dem Forschungshintergrund, zweitens dem von der Ant Group entwickelten multimodalen Fernerkundungs-Großmodell SkySense und drittens den auf SkySense basierenden Anwendungen.

Das Aufkommen großer Modelle hat zu einer rasanten Entwicklung der generativen künstlichen Intelligenz geführt, aber in der industriellen Welt ist eine groß angelegte Anwendung noch sehr weit entfernt. Obwohl das Aufkommen großer Modelle die Tür zu einer neuen Welt der KI geöffnet hat, glauben wir, dass der eigentliche Wert des neuen KI-Paradigmas nur durch die umfassende Integration innovativer, auf großen Modellen basierender Anwendungen in Tausende von Branchen und die Realisierung von Produktivitätsänderungen wirklich entfaltet werden kann freigegeben. Mit dieser Denkweise setzt die Ant Group aktiv große Modelltechnologien und -anwendungen ein.

In Bezug auf die Grundfunktionen haben wir ein Wanka-Cluster-Computing-System aufgebaut und uns auf die Sicherheit und das Wissen großer Modelle konzentriert. Was die Sicherheit betrifft, hat die Ant Group zunächst ihre eigene Ant Tianjian-Plattform entwickelt, um integrierte Lösungen für die Sicherheit großer Modelle bereitzustellen und so sicherzustellen, dass die großen Modelle der Ant Group sicher und vertrauenswürdig sind. Zusätzlich zu unseren Grundfähigkeiten haben wir das große Bailing-Sprachmodell und das multimodale große Bailing-Modell entwickelt. Basierend auf diesen beiden grundlegenden großen Modellen konzentrieren wir uns entsprechend den Merkmalen des Geschäfts der Ant Group auf die Anwendung großer Modelle im Finanzwesen , medizinische Versorgung, Lebensunterhalt der Menschen, Anwendungen in den Bereichen Sicherheit, Fernerkundung, Codierung und anderen Branchen, um Verbraucher und Unternehmenskunden zu bedienen und so die Entwicklung vertrauenswürdiger Geheimdienst- und Dienstleistungsbranchen zu fördern. Das gesamte System ist immer noch sehr umfangreich. Als nächstes werde ich die Anwendung großer Modelle in der Fernerkundung als Einstiegspunkt nutzen, um einige unserer Gedanken und Praktiken im gesamten Bereich großer Modelle mit Ihnen zu teilen.

Die Entwicklung sprachlicher und visueller Großmodelle liefert viele wichtige Referenzen für die Entwicklung großer Fernerkundungsmodelle. Beispielsweise haben große Sprachmodelle bei der Erweiterung auf den multimodalen Bereich bei einigen früheren visuellen Aufgaben wie OCR, VQA und anderen Aufgaben gute Ergebnisse gezeigt. Im Hinblick auf rein visuelle große Modelle zeigen Algorithmen wie SAM eine starke Leistung bei Klassifizierungs-, Erkennungs- und Segmentierungsaufgaben. Die Hauptaufgaben im Bereich der Fernerkundung sind auch die Klassifizierung, Erkennung und Segmentierung. Die natürliche Idee besteht darin, die erfolgreichen Erfahrungen großer visueller Modelle im Bereich der Fernerkundung anzuwenden.

Andererseits produziert der Bereich der Fernerkundung mit der rasanten Entwicklung der Fernerkundungstechnologie weiterhin riesige Mengen an multitemporalen Fernerkundungsdaten. Zu diesen Daten gehören Bilder mit sichtbarem Licht, die natürlichen Bildern und multispektralen Daten ähneln Mit mehr Spektralinformationen und Radar-SAR-Bildern stammen diese Daten von verschiedenen Satelliten und verschiedenen Sensoren und wir können sie als Daten verschiedener Modi betrachten. Diese Daten sind nicht gekennzeichnet, und die Kennzeichnung dieser Daten ist nicht nur zeitaufwändig und arbeitsintensiv, sondern kann in vielen Fällen auch nur mithilfe der Erfahrung von Experten durchgeführt werden. Nur mit Hilfe unüberwachter Algorithmen kann der Wert dieser Daten voll ausgeschöpft werden. In den letzten Jahren sind in der Branche viele Kanäle zur Erfassung von Fernerkundungsbilddaten entstanden, beispielsweise die Copernicus-Plattform der Europäischen Weltraumorganisation, die GEE-Plattform von Google und die Datenplattform des China Resources Satellite Center. Diese Plattformen bieten uns alle eine bequeme Möglichkeit, aus der Ferne zu gelangen Erfassungsdaten. Zusammenfassend lässt sich sagen, dass es im Bereich der Fernerkundung viele leicht zu beschaffende Daten gibt, kombiniert mit der erfolgreichen Erfahrung mit groß angelegten visuellen Modellen. Diese Faktoren bieten gute Möglichkeiten und Motivation für die Entwicklung groß angelegter Fernerkundungsmodelle .

Dieses Bild zeigt die großen Fernerkundungsmodelle, die in den letzten Jahren veröffentlicht wurden. Wie Sie sehen, verwendet die Branche seit 2021 unbeaufsichtigte Pre-Training-Algorithmen für die Fernerkundungsbilderkennung, darunter Modelle wie SeCo. In der Folge haben sich immer mehr Unternehmen und Institutionen beteiligt, und es gibt viele repräsentative Arbeiten, wie das vom Institut für Luft- und Raumfahrt der Chinesischen Akademie der Wissenschaften im Jahr 2022 veröffentlichte RingMo-Modell, das Satlas-Modell im Jahr 2023 und das GRAFT-Modell vor nicht allzu langer Zeit von der Fudan-Universität veröffentlicht. In diesem Bild sind auch mehrere offensichtliche Trends zu erkennen. Der Umfang der Modelldaten und -parameter wird immer größer und die Leistung wird immer stärker. Von der frühesten Unterstützung für Einzelmodaldaten bis zur aktuellen Fusion multimodaler Daten, von der frühesten Unterstützung für Bilder aus einer einzelnen Datenquelle bis zur heutigen Fusion von Bildern aus mehreren Datenquellen, von der frühen Unterstützung nur für eine einzige statische Bildinterpretation, um die Informationen des gesamten Zeitreihenbildes zusammenzuführen. Der gesamte Trend steht im Einklang mit dem Entwicklungstrend großer Sprach- und Bildmodelle. Es ist absehbar, dass in Zukunft definitiv große Fernerkundungsmodelle mit stärkerer Leistung und einer größeren Anzahl von Parametern auftauchen werden.

Zurück zu den Ameisen: Warum stellen Ameisen große Fernerkundungsmodelle her? Weil Ant viele Finanzunternehmen hat, darunter ländliche Finanzen. Wenn man in der Finanzbranche fragt, was am schwierigsten ist, werden meiner Meinung nach 99 % der Menschen sagen, dass die ländliche Finanzierung am schwierigsten ist. Die Hauptkunden der ländlichen Finanzierung sind Landwirte, die im Gegensatz zu Angestellten in Unternehmen über gute Kreditdaten verfügen. Im Vergleich zu Klein- und Kleinstunternehmern verfügen Landwirte nicht über bankenerkannte Sicherheiten. Darüber hinaus verfügen Banken nur über sehr wenige Filialen in ländlichen Gebieten und können keine groß angelegten Offline-Umfragen zur Ermittlung der Vermögenswerte der Landwirte durchführen. Das Hauptproblem dahinter ist, dass der Wert von Land, dem wichtigsten Kapital der Landwirte, nicht in großem Maßstab digitalisiert werden kann.

Als Reaktion auf dieses Problem entwickelte die Online-Handelsbank von Ant im Jahr 2019 ein Asset-Bewertungssystem, das Satellitenfernerkundung und KI-Bilderkennung nutzt. Dabei werden insbesondere Satellitenfernerkundungsbilder in Kombination mit Algorithmen der künstlichen Intelligenz verwendet, um zu identifizieren, welche Pflanzen angebaut werden Informationen wie die Größe der Pflanze und ob sie gut ist oder nicht, werden verwendet, um die Pflanzsituation des Landwirts umfassend zu analysieren, um so den Wert des Vermögenswerts zu ermitteln und ihm Kreditdienstleistungen anzubieten. In den Anfängen konzentrierte es sich hauptsächlich auf die Identifizierung von Grundnahrungspflanzen wie Reis, Mais, Weizen usw. und diente Millionen von Landwirten.

Wenn wir dieses System auf Nutzpflanzen wie Äpfel und Zitrusfrüchte übertragen, stoßen wir auf einige Probleme bei der Identifizierung. Denn im Vergleich zu Grundnahrungspflanzen werden Cash Crops spärlicher angebaut, ihre Anbaumethoden sind vielfältiger und ihre Kategorien sind sehr langschwänzig. Beispielsweise gibt es nur wenige Arten von Grundnahrungspflanzen, aber es gibt Dutzende Arten Da es im ganzen Land so viele Arten von Nutzpflanzen zu identifizieren gilt, sind die Arten von Nutzpflanzen im Bereich der Fernerkundung ein schwieriges Problem. Aus technischer Sicht können wir den Modelleffekt verbessern, indem wir das Lernen mit wenigen Stichproben, multimodale sequentielle Algorithmen und eine universelle Darstellung verwenden, um die Leistung der Modellverallgemeinerung zu verbessern. Diese technischen Merkmale sind genau die Merkmale des Basismodells. Wir beschlossen, ein großes Fernerkundungsmodell zu entwickeln.

Im Folgenden werden die Möglichkeiten und Beweggründe der Ant Group zum Aufbau groß angelegter Fernerkundungsmodelle zusammengefasst.

Auf technischer Ebene entwickelt sich die Technologie der Basismodelle rasant weiter und hat nun das Potenzial für eine Kommerzialisierung. Auf Datenebene gibt es im Bereich der Fernerkundung eine riesige Menge an Fernerkundungsdaten, die den Grundstein für die Entwicklung großer Fernerkundungsmodelle legen. Auf Geschäftsebene kann es die Anforderungen der multimodalen, multisequenziellen und Multitasking-Szenarien von Ant erfüllen. Aufgrund dieser Faktoren haben die Ant Group und die School of Remote Sensing der Universität Wuhan das multimodale Fernerkundungs-Big-Data-System SkySense entwickelt.

Um dieses Modell zu trainieren, haben wir 21,5 Millionen Probensätze gesammelt, die auf der ganzen Welt verteilt sind. Jeder Probensatz enthält hochauflösende optische, optische Zeitreihen- und Radar-SAR-Bilder. Diese Daten decken mehr als 40 Länder und Regionen auf der ganzen Welt ab und umfassen 8,78 Millionen Quadratkilometer Land und 300 TB.

In Bezug auf die Modellstruktur haben wir zur besseren Integration von Informationen aus verschiedenen Modalitäten eine vergleichende Lernmethode mit mehreren Granularitäten entwickelt und einen Einbettungsalgorithmus für die räumliche und zeitliche Wahrnehmung vorgeschlagen, der auf den Eigenschaften von Fernerkundungsbildern basiert. Diese sind sehr hilfreich, um die Leistung grundlegender Fernerkundungsmodelle zu verbessern.

Es gibt noch eine weitere Besonderheit im Bereich der Fernerkundung: Ein ganzes Fernerkundungsbild ist normalerweise sehr groß und es gibt keine Möglichkeit, es gleichzeitig zum Training in die GPU zu übertragen. Daher ist es in der Branche üblich um das gesamte Fernerkundungsbild in kleine Stücke zu schneiden, um es an den GPU-Videospeicher anzupassen. Ein offensichtliches Problem dabei ist, dass bei jedem kleinen Trainingsabschnitt Kontextinformationen verloren gehen. Als Reaktion auf diese Situation haben wir außerdem einen georäumlich sensiblen Kontextlernalgorithmus entwickelt, der implizit räumlich-zeitlich sensibles geowissenschaftliches Wissen generieren kann.

Derzeit hat die Parameterskala von SkySense 2,06 Milliarden erreicht. In Bezug auf Modelltrainingsmethoden haben wir zusätzlich zu der häufig verwendeten unüberwachten kontrastiven Lernmethode vor dem Training auch vorgeschlagen, hochauflösende Optik durch räumlich zu kombinieren. zeitliche Entkopplung basierend auf den Eigenschaften von Fernerkundungsbildern, gegenseitig überwachtes Lernen und generative Lernmethoden für Zeitreihenoptik, Zeitreihen-SAR und andere Datenkanäle zur flexiblen Unterstützung nachgelagerter Fernerkundungsinterpretationsaufgaben verschiedener Modalitäten und verschiedener Zeitreihenkombinationen. Derzeit hat SkySense gute Ergebnisse bei 17 Arten von Bewertungsdatensätzen erzielt, darunter Landüberwachung und -nutzung, Zielerkennung usw., und verwandte Artikel wurden in CVPR2024 (IEEE International Conference on Computer Vision and Pattern Recognition) aufgenommen.

Die Ausbildung dieses Modells erfordert große Investitionen in Speicher, Rechenleistung und Personalressourcen. Wir hoffen sehr, SkySense mit der Industrie zu teilen, um seinen Wert freizusetzen und die Entwicklung des gesamten Bereichs der Fernerkundungsinterpretation zu fördern. Am 15. Juni dieses Jahres haben wir damit begonnen, große Fernerkundungsmodelle für einige wissenschaftliche Forschungseinrichtungen zu testen. Während des Nutzungsprozesses erhielten alle auch viele Rückmeldungen. Einige Rückmeldungen besagten beispielsweise, dass 2 Milliarden Parameter zu groß seien und viele Szenarien keine Modelle mit so großen Parametern erfordern. Als Reaktion auf diese Situation haben wir eine Reihe von Algorithmen entwickelt, die durch ein Vortraining kleine Modelle unterschiedlicher Größe generieren können. Für jedes kleine Modell ist der Effekt besser, als wenn ein Modell dieser Größe direkt trainiert wird.

Bei tatsächlichen industriellen Anwendungen reicht es nicht aus, nur die Gewichtsparameter des Modells zu haben. Es muss auch ein passendes Datensystem und Produktsystem vorhanden sein, um den Wert des großen Modells wirklich hervorzuheben. Dies ist das Gesamtbild der Fernerkundungstechnologie der Ant Group. Auf Datenebene haben wir eine räumlich-zeitliche Datenbank entwickelt, um Daten in verschiedenen Modalitäten und Quellen zu verwalten und so ein effizientes Training und Inferenz großer Fernerkundungsmodelle zu unterstützen. Darüber hinaus haben wir mit der School of Remote Sensing der Universität Wuhan zusammengearbeitet, um ein Vorverarbeitungssystem für inländische Fernerkundungsdaten zu entwickeln, um die Qualität inländischer Daten durch integrierte Photogrammetrie und Fernerkundungstechnologie erheblich zu verbessern. In Bezug auf Produkte haben wir die intelligente Fernerkundungs-Workbench mEarth entwickelt. Diese Workbench kann Datenbestände, Datenproduktion und -verarbeitung, Modellschulung und Geschäftsanwendungsfunktionen aus einer Hand durchführen, sodass sie verschiedene nachgelagerte Anwendungsszenarien effizient und flexibel unterstützen kann . Zugang.

Als nächstes werde ich die Anwendungspraxis von SkySense teilen. In dem zuvor erwähnten ländlichen Finanzszenario können wir durch Satellitenfernerkundung und Fernerkundungsgroßmodellerkennung die Arten von Kulturpflanzen in verschiedenen Zeiträumen genau identifizieren sowie Informationen darüber erhalten, ob sie von Krankheiten und Insektenschädlingen betroffen sind, und diese auch analysieren In welchem ​​Wachstumszyklus sich die Kulturpflanzen befinden. , Anpassung diversifizierter Finanzdienstleistungen an unterschiedliche Wachstumszyklen, wodurch den Landwirten eine bessere Kreditunterstützung geboten wird.

Ant Forest hat 475 Millionen Bäume gepflanzt und schützt 4.800 Quadratkilometer Sozialschutzgebiete. Um so viel Waldfläche zu schützen, müssen technologische Mittel eingesetzt werden. Wir nutzen Satellitenfernerkundung und Drohnenluftaufnahmen in Kombination mit der Fernerkundung großer Modellerkennungen, um den Zustand des Ameisenwaldes effizient zu überwachen und einen digitalen ökologischen Schutz und eine digitale Wiederherstellung zu erreichen.

Die Berechnung und Messung von Kohlenstoffsenken ist ein sehr wichtiges Thema im Bereich ESG. Die aktuelle Berechnung von Kohlenstoffsenken ist stark auf manuelle Arbeit angewiesen, was die Entwicklung des Handels mit Kohlenstoffsenken behindert Sensorik und große Modelltechnologie zur Entwicklung einer Reihe von Nullarbeitsberechnungen. Planen Sie künstliche Eingriffe in das Kohlenstoffsenkensystem ein und versuchen Sie, ein System zur Überwachung von Waldflächenveränderungen und zur Schätzung des Biomassezuwachses zu entwickeln.

Dies geschieht im Rahmen des Waldschutzprojekts. Wir nutzen Fernerkundungsgroßmodelle, um die Veränderungserkennung natürlicher Verwitterung und die Erkennung von Veränderungen der menschlichen Zerstörung zu unterstützen und so eine regelmäßige Überwachung und den Schutz großflächiger Waldflächen zu erreichen.

Dies ist das Ergebnis der Identifizierung von Grundnahrungsmitteln in der Stadt Siping, Jilin, mithilfe eines großen Fernerkundungsmodells. Es ist ersichtlich, dass in diesem Gebiet mit relativ komplexen Pflanzbedingungen auch das große Fernerkundungsmodell eine genaue Identifizierung durchführen kann auf Pixelebene.

Ini di Luochuan, Wilayah Shaanxi Di kawasan dengan struktur rupa bumi yang kompleks ini, ketepatan pengenalpastian SkySense mengenai penanaman epal boleh mencapai lebih daripada 95%.

Pada masa yang sama, kami juga menggunakan SkySense untuk menganalisis data lampu malam wilayah global untuk menunjukkan aktiviti ekonomi kawasan yang berbeza Jelas sekali bahawa ekonomi serantau Shanghai sangat aktif.

Di atas adalah perkongsian saya, terima kasih semua!

Das obige ist der detaillierte Inhalt vonWang Jian, Leiter der Abteilung für große Fernerkundungsmodelle der Ant Group, erforscht und praktiziert multimodale Fernerkundungs-Großmodelle und bringt eine tiefgreifende Interpretation mit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!