Ist Deep Learning nach zehn Jahren an seine Grenzen gestoßen? Hinton, LeCun und Li Feifei glauben nicht.

Es ist 10 Jahre her, seit der Durchbruch der Deep-Learning-Technologie, vertreten durch AlexNet, im Jahr 2012 begann.

10 Jahre später, Geoffrey Hinton und Yann LeCun, die jetzt Gewinner des Turing Award sind, und Li Feifei, der Hauptinitiator und Förderer der ImageNet Challenge, wie sehen Sie die Durchbrüche in der KI-Technologie des letzten Jahrzehnts? Wie beurteilen Sie die technologische Entwicklung in den nächsten zehn Jahren?

Kürzlich brachte ein exklusiver Interviewartikel der ausländischen Medien VentureBeat die KI-Community dazu, diese Themen zu diskutieren.

Zu den wichtigsten Errungenschaften des letzten Jahrzehnts gehören nach Ansicht von LeCun selbstüberwachtes Lernen, ResNets, Gate-Attention-Dynamic Connection Graphs, differenzierbare Speicher- und Ersatz-Äquivariantenmodule wie Multi-Head-Selbstaufmerksamkeit. Transformator.

Hinton glaubt, dass sich die rasante Entwicklungsdynamik im Bereich KI weiter beschleunigen wird. Zuvor widerlegten er und andere bekannte Persönlichkeiten im KI-Bereich die Ansicht, dass „Deep Learning an eine Wand gestoßen ist“. „Wir sehen enorme Fortschritte in der Robotik, wobei flexible, agile und nachgiebigere Roboter Dinge effizienter und sanfter erledigen als Menschen“, sagte Hinton. Bildquelle: https://www.thestar.com/

LeCun und Li Feifei stimmen mit Hinton darin überein, dass eine Reihe bahnbrechender Studien auf der Grundlage des ImageNet-Datensatzes im Jahr 2012 große Fortschritte im Bereich Computer Vision, insbesondere Deep Learning, ermöglichte . Deep Learning in den Mainstream drängen und eine unaufhaltsame Dynamik auslösen. Li Feifei sagte, dass die tiefgreifenden Lernveränderungen seit 2012 ihre Träume übertroffen hätten.

Li Feifei

Allerdings führt Erfolg oft zu Kritik. In jüngster Zeit wurde in vielen Meinungen auf die Grenzen des Deep Learning hingewiesen und angenommen, dass sein Erfolg auf einen kleinen Bereich beschränkt sei. Diese Ansichten argumentieren, dass Deep Learning nicht den grundlegenden Durchbruch erzielen kann, den es angeblich dazu bringt, Menschen letztendlich dabei zu helfen, ihre gewünschte allgemeine künstliche Intelligenz zu erreichen, bei der die Denkfähigkeiten der KI wirklich menschenähnlich sind.

Gary Marcus, ein bekannter KI-Wissenschaftler und Gründer von Robust.AI, veröffentlichte im März dieses Jahres einen Artikel mit dem Titel „Deep Learning Hits a Wall“. Er glaubt, dass das reine End-to-End-Deep-Learning fast am Ende ist Ende, und das gesamte KI-Feld muss einen neuen Ausweg finden. Später widerlegten sowohl Hinton als auch LeCun seine Ansichten, was im Kreis heftige Diskussionen auslöste.

Obwohl es weiterhin Stimmen der Kritik gibt, können sie nicht leugnen, dass kritische Anwendungen wie Computer Vision und Sprache große Fortschritte gemacht haben. Tausende Unternehmen haben ebenfalls die Leistungsfähigkeit von Deep Learning erkannt und bemerkenswerte Ergebnisse bei Empfehlungsmaschinen, Übersetzungssoftware, Chatbots und mehr erzielt.

Wir schreiben das Jahr 2022. Wenn wir auf die letzten zehn Jahre boomender KI zurückblicken, was können wir aus den Fortschritten des Deep Learning lernen? Wird diese transformative Technologie, die die Welt verändert, in Zukunft besser sein oder bergab gehen? Hinton, LeCun, Li Feifei und andere äußerten ihre Meinung dazu.

Im Jahr 2012 begann die Deep-Learning-Revolution

Hinton hat immer an die Ankunft der Deep-Learning-Revolution geglaubt. Im Jahr 1986 schlug Hinton et al. in seiner Arbeit „Learning Representations by Back-Propagating Errors“ einen Backpropagation-Algorithmus zum Training mehrschichtiger neuronaler Netze vor und war fest davon überzeugt, dass dies die Zukunft der künstlichen Intelligenz sei. Später stimmte LeCun zu, der 1989 Pionierarbeit bei der Nutzung von Backpropagation und Faltungs-Neuronalen Netzen leistete.

Hinton und LeCun und andere glauben, dass Deep-Learning-Architekturen wie mehrschichtige neuronale Netze auf Bereiche wie Computer Vision, Spracherkennung, Verarbeitung natürlicher Sprache und maschinelle Übersetzung angewendet werden können und Ergebnisse liefern, die mit menschlichen mithalten oder diese sogar übertreffen Experten. Gleichzeitig stellte Li Feifei auch seine feste Hypothese auf, dass der ImageNet-Datensatz zum Schlüssel für die Weiterentwicklung der Computer Vision- und Deep-Learning-Forschung werden wird, solange der Algorithmus korrekt ist.

Im Jahr 2012 erschien der Artikel „ImageNet Classification with Deep Convolutional Neural Networks“ von Alex Krizhevsky, Ilya Sutskever und Hinton, in dem der ImageNet-Datensatz verwendet wurde, um die neuronale Netzwerkarchitektur von AlexNet zu erstellen, mit der heute jeder sehr vertraut ist, und gewann der diesjährige Champion des ImageNet-Wettbewerbs. Diese damals bahnbrechende Architektur war bei der Klassifizierung verschiedener Bilder weitaus genauer als frühere Methoden.

Papieradresse: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

Man kann sagen, dass diese Forschung direkt durch die Unterstützung des ImageNet-Datensatzes unterstützt wurde und leistungsfähiger ist GPU-Hardware Die großen KI-Erfolgsgeschichten des nächsten Jahrzehnts, wie Google Fotos, Google Translate, Amazon Alexa, OpenAI DALL-E und DeepMind AlphaFold usw.

Als AlexNet 2012 ins Leben gerufen wurde, begannen andere Menschen und Institutionen, sich dem Bereich der Deep-Learning-Forschung zuzuwenden. Das Google

Mittlerweile leisten Jeffrey Dean und Andrew Ng auch bahnbrechende Arbeit auf dem Gebiet der großflächigen Bilderkennung. Das CVPR 2012-Papier von Dan Ciregan et al. zur Mitte der Einreichung verbessert die hochmoderne Leistung von Faltungs-Neuronalen Netzen bei mehreren Bilddatensätzen erheblich.

Papieradresse: https://arxiv.org/pdf/1202.2745.pdf

Alles in allem wandte sich bis 2013 „fast die gesamte Computer-Vision-Forschung neuronalen Netzen zu“, sagte Hinton, der damit begann Seitdem teile ich meine Zeit zwischen Google Research und der University of Toronto auf. Er fügte hinzu, dass es in der künstlichen Intelligenz erst seit 2007 beinahe eine Revolution gegeben habe und dass es damals „nicht einmal angemessen gewesen wäre, zwei Artikel über Deep Learning auf einer Konferenz zu veröffentlichen“.

Zehn Jahre Fortschritt im Deep Learning

Li Feifei sagte, dass sie maßgeblich am Durchbruch des Deep Learning beteiligt war – sie gab den Gewinner des ImageNet-Wettbewerbs auf der Konferenz in Florenz 2012 in Italien persönlich bekannt – und die Menschen erkannten die Bedeutung davon Dieser Moment ist nicht überraschend.

„ImageNet war eine Vision, die 2006 fast ohne Unterstützung begann“, fügte Li Feifei hinzu und fügte hinzu, dass sie sich später „tatsächlich auf solch historische und bedeutende Weise ausgezahlt hat“.

Seit 2012 hat sich Deep Learning bewährt entwickelte sich in einem erstaunlichen Tempo und mit beeindruckender Tiefe.

„Es gibt einige Hindernisse, die in unglaublichem Tempo beseitigt werden“, sagte LeCun und verwies auf Fortschritte beim Verständnis natürlicher Sprache, bei der Übersetzung von Texten und bei der Bildsynthese.

In einigen Bereichen geht es sogar schneller voran als erwartet. Für Hinton gehört zu diesem Fortschritt auch der Einsatz neuronaler Netze in der maschinellen Übersetzung, die 2014 große Fortschritte gemacht hat. „Ich dachte, es würde viele Jahre dauern“, sagte er.

Li Feifei gab auch zu, dass Fortschritte in der Computer Vision – wie DALL-E – „schneller vonstatten gehen, als ich dachte.“

Zurechtweisung von Deep-Learning-Kritikern

Allerdings sind nicht alle mit Deep Learning einverstanden. Der Fortschritt ist atemberaubend -fallenlassen. Im November 2012 schrieb Gary Marcus einen Artikel für The New Yorker, in dem er sagte: „Um die alte Fabel zu paraphrasieren: Hinton baut eine bessere Leiter, aber eine bessere Leiter bringt dich nicht unbedingt auf den Mond.“

Marcus glaubt, dass Deep Learning dem „Mond“ nicht näher ist als vor zehn Jahren, wo der Mond sich auf allgemeine künstliche Intelligenz oder künstliche Intelligenz auf menschlicher Ebene bezieht.

„Natürlich gibt es Fortschritte, aber um zum Mond zu fliegen, muss man das kausale Verständnis und das Verständnis und Denken in natürlicher Sprache lösen“, sagte er. „In diesen Dingen gibt es keine großen Fortschritte.“

Marcus glaubt, dass Hybridmodelle, die neuronale Netze mit symbolischer KI kombinieren (der Zweig der KI, der das Feld vor dem Aufkommen des Deep Learning dominierte), der richtige Weg sind, um die Grenzen von zu überwinden neuronale Netze. Aber sowohl Hinton als auch LeCun wiesen Marcus‘ Kritik zurück.

„Deep Learning ist nicht an eine Wand gestoßen – wenn man sich die jüngsten Fortschritte ansieht, ist es erstaunlich“, sagte Hinton, obwohl er eingeräumt hat, dass Deep Learning in Bezug auf die Bandbreite der Probleme, die es lösen kann, begrenzt ist.

LeCun fügte hinzu: „Es gibt keine Mauer, gegen die man stoßen könnte.“ „Ich denke, es gibt einige Hürden, die überwunden werden müssen, und die Lösungen für diese Hürden sind nicht ganz klar“, sagte er. „Aber ich sehe überhaupt keine Verlangsamung des Fortschritts … der Fortschritt beschleunigt sich.“

Allerdings ist Bender nicht überzeugt. „Soweit sie nur über Fortschritte bei der Klassifizierung von Bildern auf der Grundlage von Labels sprechen, die von Benchmarks wie ImageNet bereitgestellt werden, sieht es so aus, als hätte es im Jahr 2012 einige Durchbrüche gegeben. Aber wenn sie über etwas Größeres als das sprechen, ist das nicht der Fall.“ Das ist ein Hype.“

„Ich denke, dass die Fähigkeit (Rechenleistung + effiziente Algorithmen), sehr große Datensätze in Systemen zu verarbeiten, die synthetische Texte und Bilder erzeugen können, uns in mehrfacher Hinsicht aus der Bahn geworfen hat“, sagte sie. Beispielsweise scheinen Menschen in einem Kreislauf festzustecken: Sie stellen fest, dass das Modell verzerrt ist, und schlagen vor, zu versuchen, die Verzerrung zu beseitigen, aber das akzeptierte Ergebnis ist, dass es keinen vollständig verzerrten Datensatz oder kein vollständig verzerrtes Modell gibt.

Darüber hinaus sagte sie, sie wolle, dass in der Branche echte Standards der Rechenschaftspflicht gelten, sei es bei Tests in der realen Welt oder bei der Produktsicherheit – „Dazu brauchen wir die breite Öffentlichkeit, die den KI-Hype versteht und durchschaut.“ „Wir werden eine wirksame Regulierung brauchen.“

LeCun stellte jedoch fest, dass es sich hierbei um komplexe und wichtige Themen handelt, die die Menschen gerne vereinfachen, und dass viele Menschen „böswillige Annahmen haben“. Er besteht darauf, dass die meisten Unternehmen „eigentlich das Richtige tun wollen“.

Darüber hinaus beschwerte er sich auch über diejenigen, die sich nicht mit Technologie und Forschung im Bereich der künstlichen Intelligenz befassen. „Es ist ein ganzes Ökosystem, aber einige Leute schießen von der Tribüne aus“, sagte er, „im Grunde nur auf der Suche nach Aufmerksamkeit.“ Die Debatte über Deep Learning wird definitiv weitergehen. So intensiv die Debatte auch sein mag, aber Li Feifei betonte, dass dies alles Teil der Wissenschaft sei. „Wissenschaft ist nicht Wahrheit, Wissenschaft ist eine Reise zur Suche nach Wahrheit. Es ist eine Reise der Entdeckung und Verbesserung – daher gehören Debatte, Kritik und Feiern dazu. ein bisschen künstlich“ , egal ob es heißt, dass KI falsch ist oder dass AGI kommt, das sind Extremfälle. „Ich denke, dies ist eine relativ beliebte Version einer wissenschaftlichen Debatte, die tiefer, nuancierter, nuancierter und dimensionaler ist.“

Natürlich wies Li Feifei darauf hin, dass die künstliche Intelligenz im letzten Jahrzehnt Fortschritte gemacht hat war enttäuschend – und es geht nicht immer um Technologie.

Die Zukunft der künstlichen Intelligenz und des Deep Learning

LeCun räumte ein, dass einige KI-Herausforderungen, in die die Menschen erhebliche Ressourcen investiert haben, noch nicht gelöst sind, wie beispielsweise das autonome Fahren. „Ich würde sagen, andere unterschätzen die Komplexität der Sache“, sagte er und fügte hinzu, dass er sich selbst nicht in diese Kategorie einordne.

„Ich weiß, dass es schwer ist und lange dauern wird“, behauptete er. „Ich bin anderer Meinung als einige Leute, die sagen, wir haben es im Grunde herausgefunden … es geht nur darum, diese Modelle zu vergrößern

Tatsächlich hat LeCun kürzlich einen Leitfaden zur Erstellung einer „autonomen Maschinenintelligenz“ veröffentlicht zeigt auch, dass er glaubt, dass aktuelle Methoden der künstlichen Intelligenz nicht in der Lage sind, künstliche Intelligenz auf menschlicher Ebene zu erreichen.

Aber er sieht auch das enorme Potenzial von Deep Learning in der Zukunft und sagt, dass es ihm am meisten am Herzen liegt, Maschinen effizienter und tier- und menschenähnlicher lernen zu lassen.

LeCun sagte, dass für ihn die größte Frage sei, was die Grundprinzipien des Tierlernens seien, was einer der Gründe ist, warum er Dinge wie selbstüberwachtes Lernen befürwortet.

„Dieser Fortschritt wird es uns ermöglichen, Dinge zu bauen, die derzeit unerreichbar sind, wie intelligente Systeme, die unser tägliches Leben antreiben können, als wären sie menschliche Assistenten. Das ist etwas, was wir brauchen werden, weil jeder eine AR-Brille aufsetzen wird.“ „Ich werde mit ihnen interagieren müssen.“

Hinton stimmt zu, dass beim Deep Learning weitere Fortschritte erzielt werden. Zusätzlich zu den Fortschritten in der Robotik glaubt er auch, dass es einen weiteren Durchbruch in der Infrastruktur für neuronale Netze geben wird, da die derzeitigen Einrichtungen numerische Berechnungen nur mit Beschleunigern durchführen, die sehr gut in der Lage sind, Matrixmultiplikatoren zu erstellen. Für die Rückausbreitung müssten analoge Signale in digitale Signale umgewandelt werden, sagte er.

„Wir werden Alternativen zur Backpropagation finden, die in analoger Hardware funktionieren“, sagte er. „Ich bin fest davon überzeugt, dass auf lange Sicht fast alle unsere Berechnungen in Simulationen durchgeführt werden.“

Li Feifei glaubt, dass Kommunikation und Bildung das Wichtigste für die Zukunft des Deep Learning sind. „Bei Stanford HAI investieren wir tatsächlich unverhältnismäßig viel Energie in die Kontaktaufnahme mit Wirtschaftsführern, der Regierung, politischen Entscheidungsträgern, den Medien, Reportern und Journalisten sowie der Gesellschaft insgesamt und veranstalten Symposien, Konferenzen, Workshops sowie die Veröffentlichung von Policy Briefs und Branchenbriefings.“

Bei solch einer neuen Technologie ist Li Feifei besorgt, dass der Mangel an Hintergrundwissen nicht dazu beiträgt, eine differenziertere und nachdenklichere Beschreibung dieser Ära zu vermitteln.

Wie 10 Jahre Deep Learning in Erinnerung bleiben werden

Für Hinton hat Deep Learning im letzten Jahrzehnt unvorstellbare Erfolge erzielt, er betonte aber auch, dass dieser enorme Fortschritt auf die Hardware-Fortschritte in der „Informatik“ zurückzuführen sei.

Marcus ist die Figur eines Kritikers, der glaubt, dass Deep Learning zwar einige Fortschritte gemacht hat, sich später aber als Unglück erweisen könnte.

„Ich denke, die Menschen im Jahr 2050 werden anfangen, sich diese Systeme im Jahr 2022 anzuschauen und sagen: Ja, sie sind mutig, aber sie funktionieren nicht wirklich.“

Aber Li Feifei hofft, dass das vergangene Jahrzehnt in Erinnerung bleiben wird. „Der Beginn der großen digitalen Revolution“: „Es macht das Leben und die Arbeit für alle besser, nicht nur für einige wenige oder einen Teil der Menschheit.“

Sie fügte außerdem hinzu, dass ich als Wissenschaftlerin „niemals gedacht hätte, dass Deep Learning von heute so ist.“ ist das Ende der Erforschung künstlicher Intelligenz.“

Auf gesellschaftlicher Ebene sagte sie, sie hoffe, künstliche Intelligenz als „ein unglaubliches technologisches Werkzeug zu sehen, das auf möglichst menschenzentrierte Weise entwickelt und genutzt wird – das müssen wir erkennen.“

Abschließend sagte Li Feifei: „Wie wir in Erinnerung bleiben, hängt davon ab, was wir jetzt tun.“

Das obige ist der detaillierte Inhalt vonIst Deep Learning nach zehn Jahren an seine Grenzen gestoßen? Hinton, LeCun und Li Feifei glauben nicht.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!