検索
ホームページテクノロジー周辺機器AIルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

チューリング賞受賞者のヤン・レクン氏は、AI分野の三大巨人の一人として、彼の発表した論文は当然「バイブル」として研究されています。

しかし、最近、突然誰かが飛び出してきて、ルカンの「地べたに座っている」ことを批判しました。「それは私の中心的な視点を言い換えているだけです。」

#もしかして...

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

##はい、この人は「 LSTMの父」ユルゲン・シュミットフーバー。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

シュミットフーバー氏は、ルカン氏の論文では 1990 年から 2015 年までの重要な結果について言及していないと述べました。記事内で言及されている「主な元の結果」には「学習」が含まれています。サブ目標、予測可能な抽象表現、および複数の時間スケール。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

元の推奨事項で使用されている「焼き直し」という言葉は、元のアイデアを革新なしに別の方法で表現することを意味し、これは適切な「洗浄」です。

同時に、証拠を詳細に列挙した長い記事も投稿した。もちろん、これはシュミットフーバーの一方的な発言としか考えられない。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

#しかし、ネチズンは明らかにそれを購入しませんでした。

「あなたはかつて AI コミュニティの重鎮でしたが、今ではみんなの学術的成果があなたのアイデアを盗用したと主張することで有名になりました。」

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

「あなたはニューラル ネットワーク、変圧器、LSTMS を発明しました。その後、トイレット ペーパーやスライスしたパンもあなたの家族によって発明されました。」

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

それで、それは何ですか?

まず、この問題の詳細を見てみましょう。

2022 年 6 月 14 日、Schmidhuber の Science Tabloid (MIT Technology Review のことを話しています) と呼ばれる「科学タブロイド」に、AGI. Conception に関する新しい研究について詳しく説明した LeCun によるレポートが掲載されました。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

6 月 27 日、Yann LeCun は数年間保存していた論文「自律型マシン インテリジェンスへの道」を発表し、それを「将来の発展を指摘するもの」と呼びました。 AIの方向性を「する」。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

この論文は、「機械が動物や人間のようにどのように学習できるか」という問題について体系的に述べています。60 ページ以上の長さです。興味のある方はぜひ読んでみてください。

LeCun 氏は、この記事は今後 5 ~ 10 年の AI 開発の一般的な方向性についての彼の考えであるだけでなく、今後数年間で研究する予定であることについても述べており、より多くの人々にインスピレーションを与えることを望んでいると述べました。 AI業界に参加する研究。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

おそらくルカンの論文の影響力が増大したため、シュミットフーバーはついに7月7日に自ら書いた長い論文を出版することを決定し、ルカンが自分のアイデアを盗用したと怒って非難した。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

シュミットフーバー氏は、記事が掲載される前に、「科学タブロイド紙」が報告書の草稿(まだ機密)を送ってきたので、これについてコメントを残してほしいと述べた。

そこでシュミットフーバーは雄弁に「苦情」を書き、ルカンの論文は基本的に彼の以前の著作の複製であり、引用されていないと述べた。

予想通り、彼のコメントは不評となった。

LeCun は引用せずに私の研究を繰り返しただけです。

シュミットフーバーはこの長い記事の中で、読者が原論文を研究し、これらのコメントの科学的内容を自分で判断してほしいと述べ、また、彼の研究が評価され評価されることを望んでいると述べた。

LeCun は論文の冒頭で、この論文で説明されているアイデアの多くは (ほぼすべて) 多くの著者によってさまざまな文脈とさまざまな形で提示されたものであると述べましたが、シュミットフーバーは、残念ながら論文のほとんどは、内容は1990年以降の私たちの論文と「類似」しており、引用マークはありません。

まずは今回のルカン攻撃の証拠(一部)を見てみましょう。

証拠 1:

LeCun: 今日の人工知能研究では、次の 3 つの主要な課題を解決する必要があります: (1) 機械はどのようにして世界を表現することを学習できるか? 、主に観察を通じて予測することを学び、行動することを学ぶ (2) 機械が勾配ベースの学習と互換性のある方法でどのように推論し計画を立てることができるか (3) 機械が階層的な方法で、複数の抽象化レベルでどのようにそれを行うことができるか認識 (3a) と行動計画 (3b) の表現を大規模に学習

シュミットフーバー: これらの問題は、1990 年、1991 年、1997 年、2015 年に出版された一連の論文で詳しく取り上げられています。

1990 年に、長期計画と強化学習 (RL) および人工好奇心による探索のための勾配ベースの人工ニューラル ネットワーク (NN) に関する最初の研究が発表されました。

これは、コントローラーとワールド モデルと呼ばれる 2 つのリカレント ニューラル ネットワーク (RNN、最も強力な NNN) の組み合わせについて説明します。

その中で、ワールド モデルはコントローラーのアクションの結果を予測することを学習します。コントローラーはワールド モデルを使用して、事前にいくつかのタイム ステップを計画し、予測された報酬を最大化するアクション シーケンスを選択できます。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

ニューラル ネットワークに基づく階層的知覚に対する答え (3a) に関して、この質問は少なくとも部分的には、私の 1991 年の出版物「最初の深層学習マシン - ニューラル シーケンス」からインスピレーションを受けています。アナライザー「ブロッカー」ソリューション。

リカレント ニューラル ネットワーク (RNN) の深い階層で教師なし学習と予測コーディングを使用して、「長いデータ シーケンスの内部表現」を見つけます。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

ニューラル ネットワークに基づく階層的行動計画 (3b) に対する答えは、1990 年に階層強化学習 (HRL) に関する私の論文によって少なくとも部分的に解決され、この問題は解決されました。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

証拠 2:

LeCun: コスト モジュールの両方のサブモジュールは微分可能であるため、そのため、エネルギー勾配は他のモジュール、特にワールド モジュール、パフォーマンス モジュール、知覚モジュールを通じて逆伝播できます。

シュミットフーバー: これはまさに私が 1980 年に発表した「フィードフォワード ニューラル ネットワークによるシステム識別」論文を引用して 1990 年に発表したものです。

2000 年、私の元博士研究員 Marcus Hutter は、ワールド モデルとコントローラーを学習するための、理論的に最適で一般的な微分不可能な方法を発表しました。 (ゲーデル マシンと呼ばれる数学的に最適な自己参照 AGI も参照)

証拠 3:

LeCun: 短期記憶モジュールアーキテクチャは、キーと値のメモリ ネットワークに似ている可能性があります。

シュミットフーバー: しかし、彼は、私が 1991 年にシーケンス処理「高速ウェイト コントローラー」または高速ウェイト プログラマー (FWP) について説明したときに、そのような「キーと値のメモリ ネットワーク」を最初に公開したことについて言及しませんでした。 FWP には、バックプロパゲーションを通じて学習し、別のニューラル ネットワークの高速な重みを迅速に変更する低速ニューラル ネットワークがあります。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

証拠 4:

LeCun: この論文の主な独自性(I) すべてのモジュールが微分可能であり、その多くがトレーニング可能な全体的な認知アーキテクチャ。 (II) H-JEPA: 複数の抽象レベルと複数の時間スケールで表現を学習する世界の非生成階層アーキテクチャを予測するモデル。 (III) 有益かつ予測可能な表現を生成する一連の非対照的な自己教師あり学習パラダイム。 (IV) 不確実性の下での階層計画のための予測世界モデルの基礎として H-JEPA を使用します。

この点に関して、シュミットフーバー氏もルクン氏が挙げた4つのモジュールを一つ一つ校正し、論文と重複する点を挙げた。

記事の最後で、彼は、この記事の焦点は、出版された論文やその著者によって反映されたアイデアを攻撃することではないと述べました。重要な点は、これらのアイデアはルカンの本に書かれているほど「オリジナル」ではないということです。紙。

彼は、これらのアイデアの多くは私と私の同僚の努力によって提案されたと述べました。ルカンが現在提案している彼の「主な独自の貢献」は、実際には私の数十年にわたる研究貢献と切り離せないものです。私のコメントの妥当性を自分で判断してください。

LSTM の父から...

実は、この叔父が自分の結果が他人に盗用されたと主張したのはこれが初めてではありません。

すでに昨年 9 月の時点で、彼は自身のブログに、最も引用されているニューラル ネットワークの論文結果は私の研究室で完了した研究に基づいていると投稿しました:

「言うまでもなく、LSTM、そしてResNet、AlexNet、GAN、Transformer など、今日有名な他の先駆的な作品はすべて私の作品に関連しています。一部の作品の最初のバージョンは私によって作成されましたが、今ではこれらの人々はそうではありません。武道倫理の強調と不規則な引用により、叔父はとても怒っていますが、ユルゲン・シュミットフーバーはここ数年、確かに少々不幸だったと言わざるを得ません。彼らは両方とも AI 分野の上級人物であり、多くの画期的な成果を上げていますが、彼らが受けている評判と認識は常に期待をはるかに下回っているようです。

特に 2018 年に、深層学習の 3 人の巨人、ヨシュア ベンジオ、ジェフリー ヒントン、ヤン ルカンがチューリング賞を受賞したとき、多くのネチズンは、なぜ LSTM にチューリング賞が授与されなかったのか疑問に思いました。彼はディープラーニングの分野の達人でもあります。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

2015 年に、Bengio、Hinton、LeCun という 3 人の偉大な頭脳が共同で Nature にレビューを投稿し、そのタイトルはそのまま「ディープ ラーニング」と呼ばれていました。

この記事は、従来の機械学習テクノロジーから始まり、最新の機械学習の主なアーキテクチャと手法を要約し、多層ネットワーク アーキテクチャをトレーニングするためのバックプロパゲーション アルゴリズムと、畳み込みニューラル ネットワーク、分散表現、および言語の誕生について説明します。処理、リカレント ニューラル ネットワークとそのアプリケーションなど。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

それから 1 か月も経たないうちに、シュミットフーバーは自身のブログに批判を投稿しました。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

シュミットフーバー氏は、他の先駆者が深層学習について以前から見解を持っていたのに、記事全体で 3 人の著者自身の研究結果が何度も引用されているため、この記事には非常に不満を感じたと述べました。は全く言及されていない。

彼は、チューリング賞を受賞した「深層学習の 3 人の巨人」は、他人の名誉を貪り、私利私欲を考える泥棒になったと信じています。彼らは、世界における地位を利用して互いに媚び合っています。そして彼らの上級学者を抑圧します。

2016年、ユルゲン・シュミットフーバーはNIPSカンファレンスのチュートリアルで「GANの父」イアン・グッドフェローと真っ向から対決しました。

その時、グッドフェローが GAN と他のモデルの比較について話していると、シュミットフーバーが立ち上がって質問を遮りました。

ルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

シュミットフーバー氏の質問は約 2 分間と非常に長く、主な内容は彼が 1992 年に PM を提案したことを強調し、その後それについて多くを語った。 、実装プロセスなど、最後の図は次のことを示しています: あなたの GAN と私の PM の間に類似点があるかどうか教えていただけますか?

グッドフェローは弱みを見せませんでした: あなたが言及した問題については、これまで何度も電子メールで伝えてきましたし、私もかなり前に公の場で返答しました。この件で視聴者の忍耐を無駄にしたくありません。機会。

待て、待て...

おそらく、シュミットフーバーのこれらの「ハニー作戦」は、ルクンからのメールで説明できるだろう:

「ユルゲンはみんなに、自分は執着しすぎていると言った」認められて、自分に値するものはあまり受け取っていないと常に言います。ほぼ習慣的に、彼は他の人のスピーチの最後に必ず立ち上がって、今提示された結果に対して責任があると言います。一般的に言えば、この行動それは無理です。」

以上がルカン氏の論文は「ウォッシング」で告発された? LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
论文插图也能自动生成了,用到了扩散模型,还被ICLR接收论文插图也能自动生成了,用到了扩散模型,还被ICLR接收Jun 27, 2023 pm 05:46 PM

生成式AI已经风靡了人工智能社区,无论是个人还是企业,都开始热衷于创建相关的模态转换应用,比如文生图、文生视频、文生音乐等等。最近呢,来自ServiceNowResearch、LIVIA等科研机构的几位研究者尝试基于文本描述生成论文中的图表。为此,他们提出了一种FigGen的新方法,相关论文还被ICLR2023收录为了TinyPaper。图片论文地址:https://arxiv.org/pdf/2306.00800.pdf也许有人会问了,生成论文中的图表有什么难的呢?这样做对于科研又有哪些帮助呢

聊天截图曝出AI顶会审稿潜规则!AAAI 3000块即可strong accept?聊天截图曝出AI顶会审稿潜规则!AAAI 3000块即可strong accept?Apr 12, 2023 am 08:34 AM

正值AAAI 2023论文截止提交之际,知乎上突然出现了一张AI投稿群的匿名聊天截图。其中有人声称,自己可以提供「3000块一个strong accept」的服务。爆料一出,顿时引起了网友们的公愤。不过,先不要着急。知乎大佬「微调」表示,这大概率只是「口嗨」而已。据「微调」透露,打招呼和团伙作案这个是任何领域都不能避免的问题。随着openreview的兴起,cmt的各种弊端也越来越清楚,未来留给小圈子操作的空间会变小,但永远会有空间。因为这是个人的问题,不是投稿系统和机制的问题。引入open r

CVPR 2023放榜,录用率25.78%!2360篇论文被接收,提交量暴涨至9155篇CVPR 2023放榜,录用率25.78%!2360篇论文被接收,提交量暴涨至9155篇Apr 13, 2023 am 09:37 AM

刚刚,CVPR 2023发文称:今年,我们收到了创纪录的9155份论文(比CVPR2022增加了12%),并录用了2360篇论文,接收率为25.78%。据统计,CVPR的投稿量在2010-2016的7年间仅从1724增加到2145。在2017年后则迅速飙升,进入快速增长期,2019年首次突破5000,至2022年投稿数已达到8161份。可以看到,今年提交了共9155份论文确实创下了最高记录。疫情放开后,今年的CVPR顶会将在加拿大举行。今年采用单轨会议的形式,并取消了传统Oral的评选。谷歌研究

上交大校友获最佳论文,机器人顶会CoRL 2022奖项公布上交大校友获最佳论文,机器人顶会CoRL 2022奖项公布Apr 11, 2023 pm 11:43 PM

自 2017 年首次举办以来,CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。CoRL 是面向机器人学习研究的 single-track 会议,涵盖机器人学、机器学习和控制等多个主题,包括理论与应用。2022年的CoRL大会于12月14日至18日在新西兰奥克兰举行。​本届大会共收到504篇投稿,最终接收34篇Oral论文、163篇Poster论文,接收率为39%。​目前,CoRL 2022 公布了最佳论文奖、最佳系统论文奖、特别创新奖等全部奖项。宾夕法尼亚大学GRASP实验

Nature新规:用ChatGPT写论文可以,列为作者不行Nature新规:用ChatGPT写论文可以,列为作者不行Apr 11, 2023 pm 01:13 PM

​本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。面对ChatGPT,Nature终于坐不住了。本周,这家权威学术出版机构下场,针对ChatGPT代写学研文章、被列为作者等一系列问题,给了定性。具体来说,Nature列出两项原则:(1)任何大型语言模型工具(比如ChatGPT)都不能成为论文作者;(2)如在论文创作中用过相关工具,作者应在“方法”或“致谢”或适当的部分明确说明。现在,上述要求已经添进作者投稿指南中。近段时间,ChatGPT染指学研圈情况越来越多。去年1

学术专用版ChatGPT火了,一键完成论文润色、代码解释、报告生成学术专用版ChatGPT火了,一键完成论文润色、代码解释、报告生成Apr 04, 2023 pm 01:05 PM

用 ChatGPT 辅助写论文这件事,越来越靠谱了。 ChatGPT 发布以来,各个领域的从业者都在探索 ChatGPT 的应用前景,挖掘它的潜力。其中,学术文本的理解与编辑是一种极具挑战性的应用场景,因为学术文本需要较高的专业性、严谨性等,有时还需要处理公式、代码、图谱等特殊的内容格式。现在,一个名为「ChatGPT 学术优化(chatgpt_academic)」的新项目在 GitHub 上爆火,上线几天就在 GitHub 上狂揽上万 Star。项目地址:https://github.com/

快速学习InstructGPT论文的关键技术点:跟随李沐掌握ChatGPT背后的技术快速学习InstructGPT论文的关键技术点:跟随李沐掌握ChatGPT背后的技术Apr 24, 2023 pm 04:04 PM

在ChatGPT走红之后,很多关注技术的同学都在问一个问题:有没有什么学习资料可以让我们系统地了解ChatGPT背后的原理?由于OpenAI还没有发布ChatGPT相关论文,这一问题变得棘手起来。不过,从OpenAI关于ChatGPT的博客中我们知道,ChatGPT用到的方法和它的兄弟模型——InstructGPT一样,只不过InstructGPT是在GPT-3上微调的,而ChatGPT则是基于GPT-3.5。在数据收集工作上,二者也存在一些差别。博客链接:ht

DeepMind用AI重写排序算法;将33B大模型塞进单个消费级GPUDeepMind用AI重写排序算法;将33B大模型塞进单个消费级GPUJun 12, 2023 pm 06:49 PM

目录:FastersortingalgorithmsdiscoveredusingdeepreinforcementlearningVideo-LLaMA:AnInstruction-tunedAudio-VisualLanguageModelforVideoUnderstandingPatch-based3DNaturalSceneGenerationfromaSingleExampleSpatio-temporalDiffusionPointProcessesSpQR:ASparse-Qua

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

MantisBT

MantisBT

Mantis は、製品の欠陥追跡を支援するために設計された、導入が簡単な Web ベースの欠陥追跡ツールです。 PHP、MySQL、Web サーバーが必要です。デモおよびホスティング サービスをチェックしてください。

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール