GPT-3 soll Open Source sein! Sam Altman gab bekannt, dass ein dringender Bedarf an GPUs besteht und die multimodalen Funktionen von GPT-4 nächstes Jahr verfügbar sein werden

Nach der Anhörung nahm Sam Altman das Team mit auf eine „Reise“ durch Europa.

In einem aktuellen Interview machte Altman kein Hehl und verriet, dass alle Fortschritte in seiner eigenen KI warten müssen, bis die GPU aufholt.

Er diskutierte die API- und Produktpläne von OpenAI, was die Aufmerksamkeit vieler Menschen auf sich zog.

Viele Internetnutzer äußerten, dass mir Altmans Offenheit gefällt.

Es ist erwähnenswert, dass die multimodalen Funktionen von GPT-4 den meisten Plus-Benutzern im Jahr 2024 zur Verfügung stehen sollten, sofern sie über genügend GPUs verfügen.

Der Supercomputer, den Microsofts großer Bruder 1,2 Milliarden US-Dollar für den Bau von OpenAI ausgegeben hat, ist bei weitem nicht in der Lage, die für den GPT-4-Betrieb erforderliche Rechenleistung zu erbringen. Immerhin sollen die GPT-4-Parameter 100 Billionen haben.

Darüber hinaus verriet Altman auch, dass GPT-3 auch im Open-Source-Plan von OpenAI enthalten ist.

Ich weiß nicht, ob dieses Interview zu viele „Geheimnisse“ von OpenAI enthüllt hat. Das Quellmanuskript wurde gelöscht, also beeilen Sie sich und codieren Sie es.

下注

Das neueste Interview stammt vom Geschäftsführer der KI ​Entwicklungsplattform Humanloop Unter der Leitung des offiziellen Raza Habib wurden Altman und 20 weitere Entwickler interviewt.

Diese Diskussion berührt praktische Entwicklerprobleme sowie größere Probleme im Zusammenhang mit der Mission von OpenAI und den sozialen Auswirkungen von KI.

Hier sind die wichtigsten Erkenntnisse:

1. OpenAI benötigt dringend GPUs

2. OpenAIs aktuelle Roadmap: GPT-4 multimodale Eröffnung im Jahr 2024

#🎜 🎜#

3. Das Plug-in für den Zugriff auf ChatGPT über die API wird in naher Zukunft nicht veröffentlicht

4. Killer-Anwendung“, und das Ziel ist es, ChatGPT zu einem superintelligenten Arbeitsassistenten zu machen

5. GPT-3 in der Open-Source-Initiative#🎜🎜 #

6. Modell Das Skalierungsgesetz der Leistung ist weiterhin wirksam

Als nächstes werde ich vorstellen, was Sam Altman aus 6 Hauptpunkten gesagt hat .

OpenAI setzt derzeit stark auf GPU

Alle Themen im Interview drehten sich um „OpenAI ist zu wenig GPU.“

Dies hat viele ihrer kurzfristigen Pläne verzögert.

Derzeit beschweren sich viele Kunden von OpenAI über die Zuverlässigkeit und Geschwindigkeit der API. Sam Altman erklärte, dass der Hauptgrund darin liegt, dass die GPU zu kurz ist.

OpenAI ist der erste Kunde des NVIDIA DGX-1 Supercomputers#🎜🎜 # Die Kontextlänge, die 32.000 Token unterstützt, kann nicht für mehr Personen bereitgestellt werden.

Da OpenAI die technischen Hürden noch nicht überwunden hat, sieht es so aus, als ob sie in diesem Jahr den Kontext haben werden, um 100.000 bis 1 Mio. Token zu unterstützen, aber ein Durchbruch in der Forschung ist erforderlich .

Die Fine-Tuning-API ist derzeit auch durch die GPU-Verfügbarkeit begrenzt.

OpenAI verwendet noch keine effizienten Feinabstimmungsmethoden wie Adapter oder LoRa, daher ist die Feinabstimmung sehr rechenintensiv in der Ausführung und Verwaltung.

Allerdings werden sie künftig eine bessere Unterstützung bei der Feinabstimmung bieten. OpenAI beherbergt möglicherweise sogar einen Marktplatz für von der Community beigesteuerte Modelle.

Schließlich ist die dedizierte Kapazitätsbereitstellung auch durch die GPU-Verfügbarkeit begrenzt.

Zu Beginn dieses Jahres enthüllten Internetnutzer, dass OpenAI stillschweigend eine neue Entwicklerplattform, Foundry, einführte, um Kunden die Möglichkeit zu geben, das neue maschinelle Lernmodell des Unternehmens auf dedizierten Plattformen auszuführen Kapazität.

Dieses Produkt ist „für Spitzenkunden konzipiert, die größere Arbeitslasten ausführen.“ Um diesen Service nutzen zu können, müssen Kunden bereit sein, 100.000 US-Dollar im Voraus zu zahlen.

Allerdings ist das Exemplar, wie aus den verratenen Bildinformationen hervorgeht, nicht ganz billig.

Der Betrieb der Lightweight-Version von GPT-3.5 kostet 78.000 US-Dollar für drei Monate Delegation und 264.000 US-Dollar für ein Jahr.

Von der anderen Seite lässt sich auch erkennen, dass der GPU-Verbrauch teuer ist.

Kurzfristige Roadmap für OpenAI

Altman teilte die vorläufige kurzfristige Roadmap für die OpenAI-API mit:

2023:

· Schnelles und günstiges GPT-4ーーDies ist die oberste Priorität von OpenAI.

Generell besteht das Ziel von OpenAI darin, die „intelligenten Kosten“ so weit wie möglich zu reduzieren. Daher werden sie hart daran arbeiten, die Kosten ihrer APIs weiter zu senken.

·Längere Kontextfenster ーーIn naher Zukunft unterstützen Kontextfenster möglicherweise bis zu 1 Million Token.

· Feinabstimmungs-API – Die Feinabstimmungs-API wird auf die neuesten Modelle ausgeweitet, die genaue Form hängt jedoch davon ab, was die Entwickler wirklich wollen.

· API mit Speicher ーー Derzeit werden die meisten Token bei der oben genannten Übertragung verschwendet. In Zukunft wird es eine API-Version geben, die sich den Konversationsverlauf merken kann.

2024:

· Multimodale Fähigkeiten ーーGPT-4 zeigte bei seiner Veröffentlichung leistungsstarke multimodale Fähigkeiten, aber bis die GPU zufrieden ist, kann diese Funktion nicht erweitert werden alle.

Das Plug-in „verfügt nicht über PMF“ und wird kurzfristig nicht in der API erscheinen

Viele Entwickler sind sehr daran interessiert, über die API auf ChatGPT-Plug-ins zuzugreifen, aber Sam sagte, dass diese Plug-ins dies tun werden nicht bald veröffentlicht werden.

„Mit Ausnahme von Browsing hat das Plug-in-System PMF nicht gefunden.“

Er wies auch darauf hin, dass viele Menschen ihre Produkte in ChatGPT einfügen möchten, aber tatsächlich das brauchen, was sie brauchen um ChatGPT in ihre Produkte zu integrieren.

Außer ChatGPT wird OpenAI keine weiteren Produkte veröffentlichen

Jede Bewegung von OpenAI lässt Entwickler zittern.

Viele Entwickler haben zum Ausdruck gebracht, dass sie nervös sind, die OpenAI-API zum Erstellen von Anwendungen zu verwenden, wenn OpenAI möglicherweise Produkte herausbringt, die mit ihnen konkurrieren.

Und Altman sagte, dass OpenAI keine weiteren Produkte außerhalb von ChatGPT veröffentlichen wird.

Seiner Meinung nach hat ein großartiges Unternehmen eine „Killeranwendung“, und ChatGPT wird diese rekordverdächtige Anwendung sein.

Die Vision von ChatGPT ist es, ein superintelligenter Arbeitsassistent zu werden. OpenAI wird viele andere GPT-Anwendungsfälle nicht berühren.

Regulierung ist notwendig, aber auch Open Source

Während Altman eine Regulierung zukünftiger Modelle fordert, glaubt er nicht, dass bestehende Modelle gefährlich sind.

Er glaubt, dass eine Regulierung oder ein Verbot bestehender Modelle ein großer Fehler wäre.

Im Interview bekräftigte er seinen Glauben an die Bedeutung von Open Source und sagte, dass OpenAI erwäge, GPT-3 als Open Source zu nutzen.

Ein Grund dafür, dass OpenAI kein Open Source ist, liegt darin, dass er bezweifelt, wie viele Einzelpersonen und Unternehmen in der Lage sind, große Modelle zu hosten und bereitzustellen.

Das „Skalierungsgesetz“ der Modellleistung gilt immer noch

In letzter Zeit wurde in vielen Artikeln behauptet, dass die Ära riesiger Modelle mit künstlicher Intelligenz vorbei sei. Allerdings spiegelt es Altmans ursprüngliche Absicht nicht genau wider.

Die internen Daten von OpenAI zeigen, dass die Skalierungsgesetze für die Modellleistung immer noch in Kraft sind und eine Vergrößerung des Modells weiterhin zu einer höheren Leistung führen wird.

Allerdings hat OpenAI sein Modell in nur wenigen Jahren millionenfach skaliert und kann daher diese Expansionsrate nicht aufrechterhalten.

Das bedeutet nicht, dass OpenAI nicht weiterhin versuchen wird, Modelle größer zu machen, sondern nur, dass sie wahrscheinlich nur um 1x/2x pro Jahr und nicht um Größenordnungen zunehmen werden. Die Tatsache, dass Skalierungsgesetze weiterhin in Kraft sind, hat wichtige Auswirkungen auf den Zeitplan der AGI-Entwicklung.

Die Skalierungsannahme ist, dass wir wahrscheinlich bereits über die meisten Teile verfügen, die zum Aufbau einer AGI erforderlich sind, und der Großteil der verbleibenden Arbeit darin bestehen wird, bestehende Methoden auf größere Modelle und größere Datensätze zu skalieren.

Wenn die Ära der Skalierung vorbei ist, dann sollten wir wahrscheinlich damit rechnen, dass AGI noch weiter entfernt sein wird. Die fortgesetzte Gültigkeit des Skalierungsgesetzes impliziert stark, dass der Zeitrahmen für die Umsetzung von AGI kürzer wird.

Heiße Kommentare von Internetnutzern

Einige Internetnutzer scherzten:

OpenAI: Zum Schutz unseres Wassergrabens müssen Vorschriften erlassen werden. OpenAI erwähnte erneut, dass Meta in unseren Burggraben pinkelt, was auch bedeuten sollte, dass unsere Modelle Open Source sein müssen.

Einige Leute sagen, wenn GPT-3 wirklich Open Source ist, wie LLMa, würde es etwa 5 Tage dauern, bis es auf dem M1-Chip läuft.

Community-Entwickler können OpenAI dabei helfen, den GPU-Engpass zu lösen, sofern sie das Modell als Open Source veröffentlichen. Innerhalb weniger Tage können Entwickler es auf CPUs und Edge-Geräten ausführen.

In Bezug auf den GPU-Mangel denken einige Leute, dass es ein Problem mit der Kapitalkette von OpenAI gibt und es sich das nicht leisten kann.

Manche Leute sagen jedoch, dass es offensichtlich an Angeboten mangelt. Sofern es keine Revolution in der Chipherstellung gibt, wird es im Vergleich zu Consumer-GPUs wahrscheinlich immer ein Unterangebot geben.

Einige Internetnutzer bezweifeln, dass der Wert von Nvidia immer noch unterschätzt wird? Der sprunghafte Wandel in der Computernachfrage kann mehrere Jahre andauern ...

Nvidia ist gerade dem Billionen-Dollar-Club beigetreten. Auf diese Weise könnte eine Welt mit einer Chipfabrik von mehr als 2 Billionen US-Dollar entstehen Dollar.

Referenz:

https://www.php.cn/link/c55d22f5c88cc6f04c0bb2e0025dd70b

https://www.php.cn/link/d5776aeecb3c45ab15adce6f5cb355f3

Das obige ist der detaillierte Inhalt vonGPT-3 soll Open Source sein! Sam Altman gab bekannt, dass ein dringender Bedarf an GPUs besteht und die multimodalen Funktionen von GPT-4 nächstes Jahr verfügbar sein werden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!