Duxiaoman 自動機械学習プラットフォームの実践

AI技術の発展に伴い、さまざまなビジネスに関わるAI技術はますます多様化しています。 AI モデルのパラメーターの数は年々爆発的に増加しており、高額な開発コスト、手作業への強い依存、不安定なアルゴリズム、長い実装サイクルなど、AI アルゴリズムの実装が直面する問題を克服することは、人工知能の実務者を悩ませる問題となっています。 「自動機械学習プラットフォーム」は、AI実装のプレッシャーを解決するための重要な手段です。今日は、自動機械学習プラットフォーム ATLAS の構築における Du Xiaoman の実践的な経験を共有します。

1. 機械学習プラットフォーム

最初に、Du Xiaoman Machine Learning Platform の背景と開発について紹介します。その過程と現状。

#1. ビジネス シナリオ

## 度シャオマンは金融テクノロジー企業です。同社の社内ビジネス シナリオは主に 3 つの側面に分かれています:

• インテリジェントなリスク コントロール: リレーショナル データ マイニング、テキスト NLP を含むデータマイニングや感情分析などのテクノロジー、顔認識などの CV テクノロジーなどです。
• #インテリジェントな顧客獲得: パーソナライズされた価格設定、パーソナライズされた推奨事項、クリエイティブな広告、ユーザー ポートレートなどの一般的な広告顧客獲得テクノロジーが含まれます。
• インテリジェントな管理: グラフ ニューラル ネットワーク、因果推論、OCR などの AI アルゴリズム テクノロジーが関与します。

ビジネスに関係する AI テクノロジーは非常に多様であるため、AI アルゴリズムの実装には大きな課題が生じます。

#2. AI アルゴリズムの実装に関する問題

AI アルゴリズムの実装における問題点 不可能な三角形: アルゴリズム開発の高効率、低コスト、高品質を同時に達成することは困難です。

• AI アルゴリズムのコストは高い: まず第一に、AI アルゴリズム開発の敷居は非常に高いです。例えば、金融リスク管理に用いられるOCR技術や顔認識技術は参入障壁が高く、すべての企業が使いこなせるわけではなく、トップレベルに到達できる企業は限られています。第二に、 AI アルゴリズムは大量のハードウェア リソースを消費します。 たとえば、顔認識モデルや大規模な NLP モデルをトレーニングするには、大量のコンピューティング リソースを投資する必要がありますが、これは目に見えないしきい値です。
• AI アルゴリズムの効果は不安定です。AI アルゴリズムの効果は専門家の経験に依存し、人によって異なる結果が得られ、不安定要素があります。
• AI アルゴリズムの配信サイクルは長い: 開発から展開、オンラインまでの成熟したアルゴリズム開発サイクルは軽く数か月かかる可能性があります場合によっては、豊富なビジネス シナリオに基づいてカスタマイズされた開発を行う必要があり、最終的にはモデルの出力とアルゴリズムの実装の間にギャップが生じます。

AI 導入におけるこうした問題に直面した場合、唯一の解決策は機械学習プラットフォームを使用することだと思います。

3. AI アルゴリズムの制作プロセス

AI アルゴリズムの実装プロセスを AI から理解しましょうアルゴリズムの作成プロセスに特有の困難が発生しました。

AI アルゴリズムの実装は、主にデータ管理、モデル トレーニング、アルゴリズムの最適化、デプロイとリリースの 4 つの部分に分かれており、モデルのトレーニングとアルゴリズムの最適化は反復的なプロセスです。

アルゴリズム開発の各ステップでは、そのステップに関与する人々の技術的要件は大きく異なります。

• データ管理: 技術担当者は、ビジネスだけでなく、データ ガバナンスやビッグ データ関連テクノロジーを理解する必要があります。
• モデルのトレーニングとアルゴリズムの最適化: アルゴリズム モデルの基本原理を理解し、アルゴリズムの最適化の経験があることが必要です。
• デプロイメントとリリース: バックエンド開発と Web サーバー関連のテクノロジに精通している必要があります。

各ステップに必要な技術スタックを見ると、1 人、2 人、または 3 人の技術者がすべての技術を完全に習得するのは難しいことがわかります。手作業によるあらゆる工程が生産のボトルネックとなり、生産が不安定になります。機械学習プラットフォームを使用すると、これら 2 つの問題を解決できます。

4. 機械学習プラットフォーム ATLAS

当社の機械学習プラットフォーム ATLAS は、AI 制作の全プロセスを実行します。 AI アルゴリズムの実装を置き換えるプロセスに人間が参加することで、効率的な出力という目標を達成し、AI アルゴリズムの研究開発の効率を高めることができます。

#ATLAS には次の 4 つのプラットフォームが含まれます:

• アノテーション プラットフォーム: トレーニングに使用できるアノテーション データの生成を担当します。
• # データ プラットフォーム: 大規模なデータ ガバナンスを担当します。
• トレーニング プラットフォーム: モデル トレーニングの最適化を担当します。
• デプロイメント プラットフォーム: 効率的で低コストを提供します。 、高可用性展開計画。

#これら 4 つのプラットフォームの間には反復的な関係もあります。これらのプラットフォームの設計内容と運用プロセスを以下に紹介します。

5. ATLAS: データとトレーニング

# #データとトレーニングのセクションでは、アノテーション プラットフォーム、データ プラットフォーム、トレーニング プラットフォームについて説明します。

(1) アノテーション プラットフォーム

アノテーション プラットフォームは主にトレーニング用に提供されます。 AI アルゴリズムのラベルデータ データのラベル付け ディープラーニングの誕生以来、モデルは非常に複雑になっています AI アルゴリズムの効果のボトルネックはモデル設計からデータの質と量に移りました したがって、AI アルゴリズムの実装ではデータの効率的な生成が重要です。 リンク。

ATLAS のデータ アノテーション プラットフォームには、主に、マルチシナリオ カバレッジとインテリジェント アノテーションという 2 つの機能と特徴があります。

• 複数のシナリオをカバー: ALTAS アノテーション プラットフォームは、企業の内部ビジネスに関係するすべてのアルゴリズム シナリオをカバーします。 OCR でのテキスト検出、テキスト認識、顔検出と顔比較、CV フィールドでの画像分類、NLP フィールドでのエンティティ関係やテキスト ラベルなどのタスクのデータ アノテーションが含まれます。
• インテリジェント アノテーション: データ アノテーションの効率を向上させるために、ATLAS アノテーション プラットフォームはインテリジェント アノテーションも提供します。インテリジェントな事前アノテーションとインテリジェントなエラー修正が含まれます。インテリジェントな事前ラベル付けとは、トレーニングされたモデルを使用して事前にデータにラベルを付け、それを手動で確認してラベル付けの効率を向上させることを指します。インテリジェントなエラー修正とは、事前にラベル付けされた結果を参照し、信頼性の低いラベル付け結果に対して再ラベル付けプロセスを開始することを指します。

#(2) データプラットフォーム

データプラットフォームは主に大きな成果を実現します。 -scale データ ガバナンスでは、ガバナンス プロセス中の柔軟性を考慮し、サンプルを動的に一致させます。何億ものユーザーの 5000 次元を超える機能 を保存することに基づいて、オンライン リアルタイム クエリを実現できます。動的マッチング サンプルは、さまざまなシナリオのサンプル選択とデータ選択の要件を満たすことができます。 #(3) トレーニングプラットフォーム

トレーニングプラットフォームは非常に重要な施設です。これは 5 つの層に分かれています:

スケジューリング層: トレーニング プラットフォームにはハードウェア リソースの管理が含まれ、最下位のスケジューリング層はハードウェア リソースの管理を担当します。これらのリソースのスケジュール設定。

• 制御層: スケジューリング層の上には制御層があり、機械学習タスクをいくつかのワークフローに変換することで、非同期および分散型のワークフロー制御を実現します。
• 機能層: AutoML、並列コンピューティング、グラフ コンピューティングなど、機械学習プラットフォームのいくつかの基本機能を実装します。
• アプリケーション層: いくつかの基礎的な技術的機能に基づいて、AI アルゴリズム開発のテクノロジーと機能がさまざまな特定の機能パイプラインにパッケージ化されます。
• ユーザー層: アプリケーション層の上で、ユーザーはこれらの事前設定された基本機能を使用して、作業目標を達成できます。
• 6. ATLAS: 導入とオンライン

当社デプロイメントはサーバーレスのようなアーキテクチャを採用していますが、サーバーレスのようなと言われる理由は、完全なサーバーレスのサービスではないためです。当社のサービスは幅広い一般的なアプリケーション シナリオを指向しておらず、モデルのオンライン サービスのみを指向しているため、より多くのシナリオとの互換性を考慮する必要はありません。

API インターフェイス レイヤーは、モデルが接触する 3 つの部分を提供します:

基本的な特徴処理

• モデル自体の予測
• 外部データにアクセスする機能
• #ユーザーにとって、画像のオレンジ色の部分だけを気にする必要があります。プラットフォームが提供する API は、開発コストを削減し、市場のほぼすべてのアルゴリズムと互換性があります。 APIを利用してモデルを開発することで、開発から実装まで1日、場合によっては半日で完了することが可能です。これに加えて、クラスター管理を通じてプラットフォームの優れた安定性の保証、トラフィック管理、容量管理を提供できます。

7. ATLAS: 最適化反復

以下は、ATLAS での 2 つの最適化反復のシナリオを示しています。

• シナリオ 1: オンライン モデルの継続的な反復

たとえば、OCR モデルの実装中に、古いモデルのデプロイ後にいくつかの悪いケースが生成されます。これらの悪いケースは、既存の注釈データとマージされて新しいデータ セットになります。その後、古いモデルは次の方法で最適化されます。 AutoML 最適化パイプラインを使用して新しいモデルを生成し、デプロイメント後にこのサイクルが繰り返されます。このようなサイクルを通じて、モデルはさらに 1% の精度向上を維持できます。OCR モデルの精度は非常に高く、通常 95% 以上であるため、1% も大きな向上です。

• シナリオ 2: AutoML ガイドによる最適化

わかりやすくするため繰り返される最適化プロセスは、フルプロセス AutoML に置き換えられます。AutoML は、専門家の経験が必要なシナリオの補助的な最適化として使用されます。フルプロセス AutoML の結果は、展開およびオンラインに最適なモデルを選択するためのベースラインとして使用されます。当社では、この最適化手法により60％以上のシナリオで性能向上が達成されており、改善効果は1％～5％となっています。

#2. 自動機械学習

#以下では、当社が使用している AutoML テクノロジーと改善内容を紹介します。 。

1. エキスパート モデリングと AutoML

最初に、AutoML が従来のエキスパート モデリングの利点と比較して何を持っているかを紹介します。

#AutoML の利点は 3 つの側面に分けられます。

• 効率の観点: AutoML は AI アルゴリズムの開発サイクルを大幅に短縮でき、従来のエキスパート モデリングでは作成に数か月かかるモデルを 1 日で作成できます。
• しきい値の側面: AutoML は専門家の参加の必要性を軽減または完全に排除し、研究開発のしきい値を下げることができます;
• #安定性の側面: エキスパートモデリングへの依存性 手動の経験により最適化の効果は不安定ですが、AutoML は経験の影響を排除し、アルゴリズムの可能性を最大限に引き出すことができます。

#2. AutoML の概要

AutoML で一般的に使用されるテクノロジを紹介しましょう。

AutoML で一般的に使用されるテクノロジには、次の 3 つの側面があります。

#スーパー パラメーター最適化: 最も一般的に使用されるのは、ブラック ボックス最適化とマルチ忠実度最適化です。
メタ学習: タスクの性質またはアプリオリ モデルからの学習;
#ネットワーク構造検索: 特にニューラル ネットワーク シナリオ向けで、さまざまな検索スペースと検索アルゴリズムが含まれます。

実際の作業プロセスでは、さまざまなタスクシナリオに応じてさまざまなテクノロジーが選択され、これらのテクノロジーを組み合わせて使用​​することができます。

#次のセクションでは、これら 3 つのテクノロジーをそれぞれ紹介します。

3. 自動機械学習プラットフォーム: 自動最適化パイプライン

最初はハイパーパラメータの最適化部分です。実際、自動最適化パイプラインでは、ハイパーパラメーターの最適化だけでなく、機械学習パイプライン全体が自動最適化のターゲットとして使用されます。自動化された特徴量エンジニアリング、モデルの選択、モデルのトレーニング、自動統合などが含まれており、個別のハイパーパラメーターの最適化と比較してオーバーフィッティングの可能性が低減されます。

さらに、主流の AI アルゴリズムや AutoML ツールと互換性があり、拡張しやすい AutoML フレームワーク Genesis を実装しました。これは、プラットフォーム内のさまざまな機能モジュールを相互に直交化することができ、これらを自由に組み合わせて、より柔軟な自動最適化パイプラインを実現できます。

4. 自動機械学習プラットフォーム: メタ学習システム

は当社でも使用されています。 メタ学習手法を紹介したところで、メタ学習手法の必要性とその適用の主要なシナリオを紹介しましょう。

#(1) メタ学習の必要性

大量に蓄積した上でその後、データセットがメタ特徴空間内で明らかな集合を示していることが判明したため、メタ特徴空間内で密に分布しているデータセットの最適解も近いと仮定しました。この仮定に基づいて、 履歴タスクのハイパーパラメータを使用して、新しいタスク のパラメータ最適化をガイドしました。その結果、ハイパーパラメータ検索の収束が速くなり、限られた予算の下で追加のパラメータによってアルゴリズムの効果を向上できることがわかりました。 1%。

(2) アプリケーション シナリオ

• シナリオ 1: 既存のデータ セット導出

#ビッグ データ アプリケーション シナリオでは、データ セット A とデータ セット B をマージして生成するなど、既存のデータ セットをマージする必要がある場合があります。新しいデータ セット C。データ セット A とデータ セット B のハイパーパラメータをデータ セット C のコールド スタートとして使用して、データ セット C のハイパーパラメータ最適化をガイドする場合、一方では検索スペースがロックされる可能性があります 一方、最適なパラメータ最適化結果を達成できます。

# シナリオ 2: データセットの繰り返しサンプリング

実際の開発プロセスでは、データセットをサンプリングし、サンプリングされたデータセットに対してハイパーパラメータの最適化を実行する必要がある場合があります。サンプリングされたデータのメタ特徴空間分布は元のデータに近いため、元のデータはセットが使用される ハイパーパラメータを使用して、サンプリングされたデータのハイパーパラメータ最適化をガイドすることで、最適化の効率を向上させることができます。

5. 自動機械学習プラットフォーム: 深層学習の最適化

最後にこれは、深層学習シナリオの自動最適化です。これは、ハイパーパラメータの最適化と NAS の探索の 2 つの側面に分かれています。

#深層学習ハイパーパラメータの最適化
#ディープ ラーニングの開発ボトルネックはトレーニング時間です。1 回の反復には数時間から数日かかります。従来のベイズ最適化を使用すると 20 ～ 30 回の反復が必要となり、トレーニング時間は 1 か月から数か月にも及びます数か月。したがって、ハイパーバンド法を使用して、ディープラーニングのハイパーパラメータ最適化部分にベイジアン最適化のシードを提供し、ハイパーパラメータの検索プロセスを高速化します。これに基づいて、履歴データ情報を使用してコールド スタートを最適化し、統合に履歴代替モデルを使用します。これにより、ランダムな初期化よりも速い収束速度で全体的な最適なソリューションが実現されます。

• NAS の探索

実際の開発シナリオでは、展開シナリオが異なるとモデルのサイズとモデルのサイズに異なる影響を及ぼします。時間のパフォーマンス要件が異なります。第二に、ニューラル ネットワーク構造の最適化はモデル最適化の重要な部分であり、このステップでは手動による干渉を排除する必要があります。そこで我々は重みもつれに基づくワンショットNAS法を提案し、従来のDARTS法に比べて探索効率が3倍以上に達し、探索されたサブネットワークモデルのパラメータ量と計算コストを制御可能とした。ターゲット内で選択されます。さらに、さまざまな CV タスク要件を満たすために、MobileNet や ResNet などのさまざまなスペースもサポートしています。

3. スケールと効率

最後に、機械学習の構築中に遭遇した問題について説明します。プラットフォームの規模と効率の問題。

#1. ディープラーニングのジレンマ

#規模と効率の問題に注目する理由これは、ディープ ラーニングがモデル サイズと計算要件との間の矛盾に直面しているためです。

#モデル パラメーターが多いほどモデルのパフォーマンスが向上することは、業界のコンセンサスです。深層学習には次のムーアの法則があります。 ##ハードウェア パフォーマンスは 18 か月で 2 倍になりました

• したがって、急速に増大するコンピューティング ニーズとハードウェア パフォーマンスの間のギャップを克服する必要があります。それを解決するには最適化を行います。
• #2. データ並列処理

最も一般的に使用される最適化手法は、データ並列処理、モデル並列処理、等最も一般的に使用されるのはデータ並列テクノロジです。

#ATLAS プラットフォームのデータ並列テクノロジには、次の特徴があります。

ATLAS の基本機能としては、何の意味もなく使えます。人工ニューラル ネットワーク モデルをサポートできるだけでなく、XGB、LGBM などのブースティング モデルもサポートします。

複数の通信アーキテクチャの最適化された並列効率をサポートします。

• 最適化効果に関しては、ニューラル ネットワーク モデルとブースティング モデルの両方でスループットが直線的に向上し、ニューラル ネットワーク モデルでは並列スループットが向上しました。トレーニングによりトレーニング可能なスケールが増加し、収束速度が向上し、最終的にはモデルの精度を向上させることができます。
• #3. モデルの並列性
• トレーニングの問題を解決できないモデルもいくつかあります。データの並列性だけに頼って効率化を図るには、モデル並列技術の導入も必要です。
• ATLAS モデルの並列処理は、主に 2 つの側面に分けられます。

• シナリオ 1: 層内並列処理

完全接続層のパラメーター スケールネットワーク モデルは非常に大きく、たとえば、arcFace の分類スケールは数十、数百万、さらには数千万に達しますが、このような完全に接続された層は GPU カードではカバーできません。現時点では、層内並列技術を導入する必要があり、異なるノードが同じテンソルの異なる部分を計算します。

• シナリオ 2: 層間並列処理 (パイプライン並列処理)

同時に、層間並列テクノロジも使用されます。つまり、ネットワークの異なる層のデータが異なるノードで計算され、依存関係のない計算がプリエンプトされて IDLE (GPU 待機時間) が削減されます。 ) 計算プロセス中に。

#4. グラフの並列処理

#テンソルで記述できる線形データに加えて、いくつかのグラフ データの探索並列トレーニング。

#グラフ データの場合、サンプリングやその他の操作でノードを動的に横断する必要があり、グラフ データのサイズは一般的に大きくなります。いずれも非常に大きく、社内のグラフデータは数百億に達しており、これを1台のマシンで計算するのは困難です。

#グラフ データの分散コンピューティングのボトルネックはマッピング テーブルにあります。従来のマッピング テーブルの空間複雑さは O(n)、たとえば 10 億です。ポイント 10 億 エッジ グラフ データは 160 GB のメモリを占有し、分散トレーニングのスケール上限を形成します。空間計算量が O(1) の手法を提案し、ノードとエッジの ID を並べ替えることでマッピング境界のみを保持し、グラフ並列学習の規模を任意に拡張できる。

5. トレーニングの効率

同時に、トレーニングの効率に関してもいくつかの最適化を行いました。 。

#GPU 使用率の最適化

データの読み取りに多くの GPU 時間が費やされ、GPU はアイドル状態になります。事前トレーニング、プロセス中の監視と早期警告、およびイベント後の分析を通じて、平均 GPU 使用率を 2 倍にすることができます。

バックプロパゲーション再計算

バックプロパゲーション再計算テクノロジーも使用していますが採用されています。非常に多くのパラメーターを持つ一部のモデルでは、順方向伝播プロセス中にすべての層の計算結果を保存せず、一部のノードのチェックポイントのみを保持します。逆方向伝播中に、空のパラメーター ノードがチェックポイントから再計算されます。このようにして、メモリ リソースを 50% 以上削減でき、トレーニング効率を 35% 以上改善できます。

##4. まとめと感想

## 最後に、機械学習プラットフォームの構築における私たちの経験と考えについて話しましょう。

私たち

はいくつかの経験を次のように要約しました:

• まず第一に、機械学習プラットフォームは、AI アルゴリズムの実装に最も効果的なソリューションです;

AI アルゴリズムの実装にはテクノロジーとコンテンツのあらゆる側面が含まれるため、どのリンクでも学生に全体の状況を理解するよう要求することは不可能です。そのため、提供できるプラットフォームが必要です。これらの基礎機能は、誰もがこれらの問題を解決できるように支援します。

• 第二に、AutoML のアプリケーションが機械学習プラットフォームの中核となる構築機能であると考えています;

自動化または AutoML の適用がうまく行われた場合にのみ、アルゴリズム専門家の生産性がより効果的に解放され、アルゴリズム専門家がより多くの作業を行えるようになるためです。 -深度アルゴリズム、または機械学習の上限を高めるための能力構築。

• 最後に、この設計プロセスでは、内部アプリケーション シナリオを検討することが重要であるため、私たちの機能と機能の設計は、ビジネスの実際に基づいて、ビジネス要件を満たすことを優先します。

未来に目を向ける:

• まず第一に、機能ATLAS の機能は、より多くのシーンを装備してより高い効率を達成するように適応されます。
• 第 2 に、アルゴリズムの効果が言語モデルと一致するように、超大規模言語モデルでの 3D 並列処理などのトレーニング最適化テクノロジの適用を検討します。業界最先端の AI アルゴリズムのレベルに近い。

5. Q&A セッション

Q1: どのオープンソース AutoML フレームワークを試し、どのフレームワークをお勧めしますか?

A1: 最も一般的に使用されているオープン ソースの AutoML フレームワークは Optuna です。私は Auto-Sklearn と AutoWeka も試しました。その後、Web サイト automl.org を皆さんにお勧めします。現在、この分野に従事している人は実際には比較的少ないため、この Web サイトは AutoML 分野の数人の専門家や教授によって構築された Web サイトであり、誰もが参照できる AutoML のオープンソース学習資料が多数あります。私たちが推奨するオープン ソース フレームワークは Optuna で、パラメータ調整に使用します。そのアルゴリズムは最も基本的なベイジアン最適化であるだけでなく、非常に大きなパラメータに適した TPE アルゴリズムであるためです。一部のシナリオでは、ベイジアン最適化はパラメーターが少ない一部のシナリオにはさらに適していますが、何度も試してみると、どのシナリオがどの方法がより多くの経験に適しているかについて異なる意見が出る可能性があるため、さまざまなシナリオに応じていくつかの異なる方法を試してみることをお勧めします。

#Q2: 機械学習プラットフォームの開発サイクルはどのくらいですか?

#A2: 機械学習プラットフォームを構築してから 3 ～ 4 年が経ちます。当初、私たちはまずアプリケーションのデプロイの問題を解決し、次にコンピューティングやトレーニングなどの実稼働機能の構築を開始しました。ゼロから構築する場合は、いくつかのオープンソースフレームワークを参考にして構築し、利用中に自分のビジネスシーンでどのような問題が発生するかを確認し、今後の開発の方向性を明確にすることをお勧めします。

#Q3: 相互検証中に過剰適合を排除するにはどうすればよいですか?

A3: これはより具体的なアルゴリズムの最適化問題である可能性がありますが、私たちの最適化パイプラインでは、サンプリング手法を通じてトレーニングします。この手法により、タスクはより多くのことを確認できるようになります。データセットの角度、または側面を分析し、これらのサンプリング後にトレーニングされた最上位モデルを統合して、モデルにより強力な汎化機能を与えます。これは、シーンでは非常に重要な方法でもあります。

Q4: 機械学習学習プラットフォーム全体を構築する場合、開発サイクルと人員投資はどれくらいかかりますか?

A4: この開発サイクルは先ほども述べましたが、約 3 ～ 4 年かかります。それから、人的投資ということでございますが、現在学生は六、七名でございますが、当初はこれよりもさらに少なかったわけでございます。

#Q5: GPU を仮想化すると機械学習プラットフォームは改善されますか?

#A5: まず第一に、この学生が言及した仮想化 GPU は、リソースのセグメント化と分離を指すはずです。機械学習プラットフォームを構築する場合、GPU の仮想化は必須の機能であるはずであり、これは、より適切なリソースのスケジューリングと割り当てを実現するためにリソースを仮想化する必要があることを意味します。次に、これに基づいて、GPU のビデオ メモリとそのコンピューティング リソースを分割し、さまざまなサイズのリソース ブロックをさまざまなタスクに割り当てることもできますが、この時点では実際にはトレーニングしていません。トレーニング タスクは通常、より高いパフォーマンスを備えているため、内部で使用します。コンピューティング機能の要件を満たしているため、リソース消費量が少ないアプリケーション シナリオではなく、推論シナリオで使用します。実際の適用プロセス中に、仮想化テクノロジには優れたオープンソースの無料ソリューションが存在しないことがわかり、一部のクラウド サービス ベンダーが有料のソリューションを提供するため、いくつかのタスクと高度なタスクを混合した時分割多重化ソリューションを導入に使用しました。時分割多重化を実現するためのコンピューティング要件と、コンピューティング要件が低い一部のタスクでは、ある程度の容量増加の効果が得られます。

#Q6: マルチノード分散並列トレーニングの加速率はどのくらいですか?直線に近づけることはできるでしょうか？

#A6: 直線加速度比に近づけることができますが、自分で測定すると、良い場合は 80 ～ 90 のレベルに達する可能性があります。もちろん、ノード数が非常に多い場合は、さらなる最適化が必要になる可能性があります。現在、32 または 64 ノードで 80 または 90 の加速率を達成できるという論文を発表したり、論文を目にしたりするかもしれません。それは必要かもしれません。より特殊な最適化。しかし、機械学習プラットフォームを使用している場合は、より広範囲のシナリオを対象にする必要がある可能性があります。実際のシナリオでは、ほとんどのトレーニングには 4 枚の GPU カードまたは 8 枚の GPU カードが必要になる可能性があり、最大 16 枚の GPU カードで要件を満たすことができます。

#Q7: AutoML を使用する場合、ユーザーはどのようなパラメータを設定する必要がありますか?計算全体にどれくらいの計算能力と時間が必要ですか?

#A7: AutoML の理想的な状況では、ユーザーはパラメータを設定する必要がありません。もちろん、ユーザーがニーズに応じていくつかのパラメータを調整または決定できるようにします。時間の消費という点では、すべての AutoML シナリオで、最適化を 1 日以内に完了することが目標です。また、計算能力に関しては、ツリーモデル XGB、LGBM などの一般的なビッグデータ モデリングであれば 1 台のマシンでも処理できますが、GPU タスクの場合は GPU タスクの規模に依存します。基本的に、AutoML トレーニングは、元のトレーニング スケールの 2 ～ 3 倍のコンピューティング能力で完了できます。

#Q8: どのようなオープンソースの機械学習フレームワークを参照できますか?

#A8: この質問は先ほど言及したものですが、Optuna、Auto-Sklearn、AutoWeka を参照してください。先ほど、automl.org というウェブサイトについて触れましたが、そこには多くの情報が掲載されています。 #Q9: EasyDL との関係は何ですか?

A9: EasyDL は Baidu が所有しており、当社のフレームワークは完全に自社開発です。

今日の共有はこれで終わりです。皆さん、ありがとうございました。

以上がDuxiaoman 自動機械学習プラットフォームの実践の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。