Heim  >  Artikel  >  Technologie-Peripheriegeräte  >  Der Effekt kann 96 % des entsprechenden Modells von OpanAI erreichen, und das inländische Open-Source-KI-Sprachmodell TigerBot wird veröffentlicht

Der Effekt kann 96 % des entsprechenden Modells von OpanAI erreichen, und das inländische Open-Source-KI-Sprachmodell TigerBot wird veröffentlicht

WBOY
WBOYnach vorne
2023-06-10 13:35:101079Durchsuche

Laut Nachrichten vom 8. Juni wurde das inländische multimodale große Sprachmodell TigerBot kürzlich offiziell veröffentlicht, einschließlich zwei Versionen mit 7 Milliarden Parametern und 180 Milliarden Parametern. Es ist jetzt Open Source auf GitHub.

效果可达 OpanAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布

▲ Bildquelle GitHub-Seite von TigerBot

Es wird berichtet, dass die von TigerBot eingeführten Innovationen hauptsächlich in Folgendem liegen:

  • Vorgeschlagene innovative Algorithmen, die Anweisungen zur Durchführung einer überwachten Feinabstimmung bereitstellen, um die Lernfähigkeit des Modells zu verbessern.
  • Verwenden Sie Ensemble- und probabilistische Modellierungsmethoden, um kontrollierbare Fakten und Kreativität zu erreichen.
  • Durchbrechen Sie die Gedächtnis- und Kommunikationsprobleme in Mainstream-Frameworks wie Deep-Speed ​​im Paralleltraining.

Darüber hinaus hat dieses Modell auch geeignetere Optimierungen vom Tokenizer bis zum Trainingsalgorithmus für die unregelmäßigere Verteilung der chinesischen Sprache vorgenommen.

Forscher Chen Ye sagte auf der offiziellen Website von Hubo Technology: „Dieses Modell kann mit nur einer kleinen Anzahl von Parametern schnell verstehen, welche Art von Fragen Menschen stellen.“ Laut der automatischen Auswertung des OpenAI InstructGPT-Papiers zum öffentlichen NLP-Datensatz , TigerBot-7B hat 96 % der Gesamtleistung des OpenAI-Modells gleicher Größe erreicht.“ Modell“ enthält der Open-Source-Code grundlegenden Trainings- und Inferenzcode, Quantisierungs- und Inferenzcode für das Dual-Card-Inferenz-180B-Modell. Die Daten umfassen 100 G Vortrainingsdaten und 1 G oder 1 Million Daten für die überwachte Feinabstimmung.

IT House-Freunde können 效果可达 OpanAI 同等模型 96%,国产开源 AI 语言模型 TigerBot 发布die Open-Source-Projekte von GitHub hier finden

.

Das obige ist der detaillierte Inhalt vonDer Effekt kann 96 % des entsprechenden Modells von OpanAI erreichen, und das inländische Open-Source-KI-Sprachmodell TigerBot wird veröffentlicht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Dieser Artikel ist reproduziert unter:51cto.com. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen