ニューラル ネットワークは、その複雑さのため、すべての機械学習の問題を解決するための「聖杯」とみなされることがよくあります。一方、ツリーベースの手法は、主にそのようなアルゴリズムの見かけの単純さのため、同様の注目を集めていません。ただし、これら 2 つのアルゴリズムは異なるように見えるかもしれませんが、同じコインの裏表のようなもので、どちらも重要です。
ツリー モデル VS ニューラル ネットワーク
ツリーベースの手法は、通常、ニューラル ネットワークよりも優れています。基本的に、ツリーベースの手法とニューラル ネットワーク ベースの手法は、どちらもサポート ベクター マシンやロジスティック回帰のような複雑な境界を介してデータセット全体を分割するのではなく、段階的な分解を通じて問題にアプローチするため、同じカテゴリに分類されます。 。
明らかに、ツリーベースの方法では、さまざまな特徴に沿って特徴空間を段階的にセグメント化し、情報取得を最適化します。あまり明らかではありませんが、ニューラル ネットワークも同様の方法でタスクにアプローチします。各ニューロンは、特徴空間の特定の部分 (複数のオーバーラップを含む) を監視します。入力がこの空間に入ると、特定のニューロンが活性化されます。
ニューラル ネットワークでは、このモデルのフィッティングを確率論的な観点から見るのに対し、ツリーベースの手法では決定論的な観点がとられます。いずれにしても、両方のコンポーネントは特徴空間のさまざまな部分に関連付けられているため、両方のパフォーマンスはモデルの深さに依存します。
コンポーネント (ツリー モデルの場合はノード、ニューラル ネットワークの場合はニューロン) が多すぎるモデルは過剰適合しますが、コンポーネントが少なすぎるモデルでは意味のある予測が得られません。 (どちらも、一般化を学習するのではなく、データ ポイントを記憶することから始まります。)
ニューラル ネットワークが特徴空間をどのように分割するかをより直観的に理解したい場合は、この紹介記事を読むことができます。普遍近似定理について: https://medium.com/analytics-vidhya/you-dont-question-neural-networks-until-you-under-the-universal-estimated- Theory-85b3e7677126。
ランダム フォレスト、勾配ブースティング、AdaBoost、ディープ フォレストなど、デシジョン ツリーには強力なバリエーションが多数ありますが、一般に、ツリーベースの手法は本質的にニューラル ネットワークのバージョンを簡略化したものです。 。
ツリーベースの手法は、垂直線と水平線を通じて問題を部分的に解決し、エントロピー (オプティマイザーと損失) を最小限に抑えます。ニューラル ネットワークは活性化関数を使用して問題を少しずつ解決します。
ツリーベースの方法は、確率論的ではなく決定論的です。これにより、自動機能選択などの優れた簡素化が実現します。
デシジョン ツリー内のアクティブ化された条件ノードは、ニューラル ネットワーク内のアクティブ化されたニューロン (情報フロー) に似ています。
ニューラル ネットワークは、パラメータのフィッティングを通じて入力を変換し、後続のニューロンの活性化を間接的にガイドします。デシジョン ツリーは、情報の流れをガイドするパラメーターを明示的に適合させます。 (これは、決定論と確率論の結果です。)
2 つのモデルの情報の流れは、ツリー モデル内だけで似ています。方法はより簡単です。
ツリー モデルでの 1 と 0 の選択 VS ニューラル ネットワークの確率的選択
もちろん、これは抽象的な結論であり、次のような結果になる可能性があります。物議を醸す可能性さえあります。確かに、この接続を確立するには多くの障害があります。いずれにせよ、これは、いつ、そしてなぜツリーベースの手法がニューラル ネットワークよりも優れているのかを理解する上で重要な部分です。
デシジョン ツリーの場合、表形式または表形式の構造化データを操作するのは自然なことです。ニューラル ネットワークを使用して表形式のデータに対して回帰と予測を実行するのはやりすぎであることにほとんどの人が同意するため、ここではいくつかの簡略化が行われます。 2 つのアルゴリズムの違いの主な原因は、確率ではなく 1 と 0 の選択です。したがって、ツリーベースの手法は、構造化データなど、確率が必要ない状況にもうまく適用できます。
たとえば、各数値にはいくつかの基本的な特徴があるため、ツリーベースのメソッドは MNIST データセットで良好なパフォーマンスを示します。確率を計算する必要がなく、問題はそれほど複雑ではありません。そのため、適切に設計されたツリー アンサンブル モデルは、最新の畳み込みニューラル ネットワークと同等かそれ以上のパフォーマンスを発揮できます。
一般に、「ツリーベースのメソッドはルールを覚えているだけ」と言われがちですが、それは正しいです。ニューラル ネットワークは、より複雑な確率ベースのルールを記憶できる点を除いて同じです。 x>3 のような条件に対して真/偽予測を明示的に与えるのではなく、ニューラル ネットワークは入力を非常に高い値に増幅し、シグモイド値 1 を生成するか、連続式を生成します。
一方、ニューラル ネットワークは非常に複雑なので、それを使ってできることはたくさんあります。畳み込み層と再帰層はどちらも、処理されるデータに確率計算の微妙なニュアンスが必要になることが多いため、ニューラル ネットワークの優れた変種です。
1 と 0 でモデル化できる画像はほとんどありません。デシジョン ツリー値は、多くの中間値 (例: 0.5) を持つデータセットを処理できないため、ピクセル値がほぼすべて黒または白であるが、他のデータセットのピクセル値はそうではない MNIST データセットでは良好にパフォーマンスします (例: ImageNet) 。同様に、テキストには決定的な用語で表現するには情報が多すぎ、異常が多すぎます。
これが、ニューラル ネットワークがこれらの分野で主に使用される理由であり、大量の画像とテキストが存在した初期の時期 (21 世紀初頭以前) にニューラル ネットワークの研究が停滞した理由です。データが入手できませんでした。ニューラル ネットワークの他の一般的な用途は、非常に大規模で確率を使用する必要がある YouTube 動画推奨アルゴリズムなどの大規模な予測に限定されます。
Zoom ビデオの背景をぼかすなどの高負荷なアプリケーションを構築している場合を除き、どの企業のデータ サイエンス チームもおそらくニューラル ネットワークではなくツリーベースのモデルを使用するでしょう。しかし、日常的なビジネス分類タスクでは、ツリーベースの手法は決定論的な性質によりこれらのタスクを軽量にし、その手法はニューラル ネットワークと同じです。
実際の多くの状況では、確率的モデリングよりも決定的モデリングの方が自然です。たとえば、ユーザーが電子商取引 Web サイトから商品を購入するかどうかを予測するには、ユーザーはルールに基づいた意思決定プロセスに自然に従うため、ツリー モデルが適しています。ユーザーの意思決定プロセスは次のようになります:
- これまでにこのプラットフォームで前向きなショッピング体験をしたことがありますか?その場合は、続行してください。
- このアイテムは今必要ですか? (たとえば、冬用にサングラスと水泳パンツを購入する必要がありますか?) その場合は、続けてください。
- 私のユーザー層に基づくと、これは購入に興味のある製品ですか? 「はい」の場合は、続行します。
- これは高すぎますか?そうでない場合は、続行してください。
- 他の顧客はこの製品を安心して購入できるほど高く評価していますか? 「はい」の場合は、続行します。
一般的に、人間はルールに基づいた構造化された意思決定プロセスに従います。このような場合、確率モデリングは不要です。
結論
- ツリーベースの手法は、特性評価を実行するためのニューラル ネットワークの縮小バージョンと考えるのが最善です。より簡単な方法 分類、最適化、情報フローの転送など。
- ツリーベースの手法とニューラル ネットワーク手法の使用上の主な違いは、決定的 (0/1) および確率的データ構造です。構造化 (表) データは、決定論的モデルを使用するとより適切にモデル化できます。
- ツリー手法の威力を過小評価しないでください。
以上が機械学習: ツリー モデルの力を過小評価しないでくださいの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

近年来,图神经网络(GNN)取得了快速、令人难以置信的进展。图神经网络又称为图深度学习、图表征学习(图表示学习)或几何深度学习,是机器学习特别是深度学习领域增长最快的研究课题。本次分享的题目为《GNN的基础、前沿和应用》,主要介绍由吴凌飞、崔鹏、裴健、赵亮几位学者牵头编撰的综合性书籍《图神经网络基础、前沿与应用》中的大致内容。一、图神经网络的介绍1、为什么要研究图?图是一种描述和建模复杂系统的通用语言。图本身并不复杂,它主要由边和结点构成。我们可以用结点表示任何我们想要建模的物体,可以用边表示两

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

在我的世界(Minecraft)中,红石是一种非常重要的物品。它是游戏中的一种独特材料,开关、红石火把和红石块等能对导线或物体提供类似电流的能量。红石电路可以为你建造用于控制或激活其他机械的结构,其本身既可以被设计为用于响应玩家的手动激活,也可以反复输出信号或者响应非玩家引发的变化,如生物移动、物品掉落、植物生长、日夜更替等等。因此,在我的世界中,红石能够控制的机械类别极其多,小到简单机械如自动门、光开关和频闪电源,大到占地巨大的电梯、自动农场、小游戏平台甚至游戏内建的计算机。近日,B站UP主@

当风大到可以把伞吹坏的程度,无人机却稳稳当当,就像这样:御风飞行是空中飞行的一部分,从大的层面来讲,当飞行员驾驶飞机着陆时,风速可能会给他们带来挑战;从小的层面来讲,阵风也会影响无人机的飞行。目前来看,无人机要么在受控条件下飞行,无风;要么由人类使用遥控器操作。无人机被研究者控制在开阔的天空中编队飞行,但这些飞行通常是在理想的条件和环境下进行的。然而,要想让无人机自主执行必要但日常的任务,例如运送包裹,无人机必须能够实时适应风况。为了让无人机在风中飞行时具有更好的机动性,来自加州理工学院的一组工

1 什么是对比学习1.1 对比学习的定义1.2 对比学习的原理1.3 经典对比学习算法系列2 对比学习的应用3 对比学习在转转的实践3.1 CL在推荐召回的实践3.2 CL在转转的未来规划1 什么是对比学习1.1 对比学习的定义对比学习(Contrastive Learning, CL)是近年来 AI 领域的热门研究方向,吸引了众多研究学者的关注,其所属的自监督学习方式,更是在 ICLR 2020 被 Bengio 和 LeCun 等大佬点名称为 AI 的未来,后陆续登陆 NIPS, ACL,

本文由Cristian Bodnar 和Fabrizio Frasca 合著,以 C. Bodnar 、F. Frasca 等人发表于2021 ICML《Weisfeiler and Lehman Go Topological: 信息传递简单网络》和2021 NeurIPS 《Weisfeiler and Lehman Go Cellular: CW 网络》论文为参考。本文仅是通过微分几何学和代数拓扑学的视角讨论图神经网络系列的部分内容。从计算机网络到大型强子对撞机中的粒子相互作用,图可以用来模

OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代,如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本,同时尽可能小地损失模型性能,压缩神经网络成为了 DNN 产品化的关键之一。DNN 压缩通常来说有三种方式,剪枝,知识蒸馏和量化。剪枝旨在识别并去除冗余结构,给 DNN 瘦身的同时尽可能地保持模型性能,是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成,共同作用来达到最佳的压缩效果。然而现存的剪枝方法大都只针对特定模型,特定任务,且需要很

AI面部识别领域又开辟新业务了?这次,是鉴别二战时期老照片里的人脸图像。近日,来自谷歌的一名软件工程师Daniel Patt 研发了一项名为N2N(Numbers to Names)的 AI人脸识别技术,它可识别二战前欧洲和大屠杀时期的照片,并将他们与现代的人们联系起来。用AI寻找失散多年的亲人2016年,帕特在参观华沙波兰裔犹太人纪念馆时,萌生了一个想法。这一张张陌生的脸庞,会不会与自己存在血缘的联系?他的祖父母/外祖父母中有三位是来自波兰的大屠杀幸存者,他想帮助祖母找到被纳粹杀害的家人的照


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

ドリームウィーバー CS6
ビジュアル Web 開発ツール

SecLists
SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

Safe Exam Browser
Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。
