検索
ホームページバックエンド開発Python チュートリアルハグ顔トランスフォーマーの力を機械学習に利用する

近年、Hugging Face [https://huggingface.co/] は機械学習コミュニティで最も影響力のあるプラットフォームの 1 つとして台頭しており、開発者や研究者に幅広いツールとリソースを提供しています。その最も注目すべき製品の 1 つは Transformers ライブラリ で、これにより最先端のモデル、データセット、アプリケーションを簡単に活用できるようになります。このライブラリを使用すると、ユーザーは事前トレーニングされたモデルをプロジェクトにシームレスに統合し、機械学習ワークフローを加速できます。

この記事では、Transformers ライブラリとそのインストール方法について説明し、感情分析、テキスト生成、ゼロショット分類などのタスクにパイプラインを使用した実際の使用例をいくつか紹介します。

Harnessing the Power of Hugging Face Transformers for Machine Learning

ハグフェイストランスフォーマーとは?

Transformers ライブラリ は、自然言語処理 (NLP)、コンピューター ビジョンなど、さまざまなタスク向けに微調整された最先端の事前トレーニング済みモデルをダウンロードしてトレーニングするための API とツールを提供します。 、マルチモーダル アプリケーション。事前トレーニングされたモデルを使用すると、コンピューティング コスト、二酸化炭素排出量、モデルを最初からトレーニングするのにかかる時間を大幅に削減できます。これは、開発サイクルを短縮し、機械学習の最新の進歩を活用するための優れた方法です。

ライブラリは Python 3.6 をサポートし、PyTorchTensorFlowFlax などの深層学習フレームワークとシームレスに連携します。これにより、Hugging Face モデル ハブからモデルを直接ダウンロードし、わずか数行のコードで推論に使用できます。

インストールガイド

Transformers ライブラリの使用を開始する前に、開発環境をセットアップすることが不可欠です。インストール方法は次のとおりです:

1. 仮想環境のセットアップ

まず、プロジェクト ディレクトリに仮想環境を作成します。

python -m venv .myenv

仮想環境をアクティブ化します:

  • Linux/macOS の場合:
  source .myenv/bin/activate

正しいバージョンの Python を使用していることを確認してください:

python -V

Python 3.6 (例: Python 3.10.10) を使用していることを確認してください。

pip を最新バージョンにアップグレードします:

pip install --upgrade pip

2. Transformers ライブラリをインストールする

これで、Transformers をインストールする準備ができました。 PyTorch を使用している場合は、次のコマンドを使用してライブラリとともに PyTorch をインストールします:

pip install 'transformers[torch]'

TensorFlow 2.0 の場合:

pip install 'transformers[tf-cpu]'

Flax (研究環境で使用):

python -m venv .myenv

M Mac または ARM ベースのアーキテクチャを使用している場合は、追加の依存関係が必要になる場合があります。

  source .myenv/bin/activate

すべてのセットアップが完了したら、次の Python コマンドを実行して、インストールが成功したかどうかを確認します。

python -V

成功すると、次のような出力が表示されるはずです。

pip install --upgrade pip

パイプライン API を使用した迅速な推論

Hugging Face の Transformers ライブラリの パイプライン API を使用すると、基礎となるコードやモデルの詳細を深く掘り下げることなく、複雑な機械学習タスクを簡単に実行できます。パイプラインは、前処理、モデル推論、後処理を自動的に処理します。

パイプライン API でいくつかの一般的なタスクを使用する方法を見てみましょう。

1. 感情分析

感情分析には、テキストが肯定的であるか否定的であるかなど、テキストの背後にある感情的な調子を判断することが含まれます。パイプライン API を使用して感情分析を実行する方法は次のとおりです:

pip install 'transformers[torch]'

出力:

pip install 'transformers[tf-cpu]'

パイプラインは最初にテキストを前処理 (トークン化) し、それをモデルに渡し、最後に結果を後処理します。この場合、モデルは入力を POSITIVE として分類し、スコアは 0.999 です。

2. テキストの生成

Transformers は、GPT-2 のような事前トレーニングされた言語モデルを使用してテキストを生成する簡単な方法も提供します。以下はテキスト生成パイプラインを使用した例です:

pip install 'transformers[flax]'

出力:

brew install cmake
brew install pkg-config

モデルは、「愛しています」というプロンプトに基づいて、3 つの異なるバリエーションのテキストを生成します。これは、クリエイティブなコンテンツを生成したり、特定の文を完成させるのに役立ちます。

3. ゼロショットの分類

ゼロショット分類 は、カテゴリに基づいてモデルを明示的にトレーニングすることなく、テキストをカテゴリに分類できる強力な機能です。たとえば、特定のデータセットでモデルをトレーニングしていない場合でも、テキストを事前定義されたラベルに分類できます。

これが例です:

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))"

出力:

[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

モデルは、テキストが信頼スコア 0.51 で ニュース として分類される可能性が高いことを示唆しています。

円グラフで結果を視覚化して、分布をよりよく把握することもできます。

from transformers import pipeline

classifier = pipeline("sentiment-analysis", model="distilbert/distilbert-base-uncased-finetuned-sst-2-english")
res = classifier("I love you! I love you! I love you!")

print(res)

これにより、各ラベルの確率を表す円グラフが表示され、モデルがテキストをどのように解釈するかを視覚化するのに役立ちます。

Harnessing the Power of Hugging Face Transformers for Machine Learning

結論

Hugging Face の Transformers ライブラリは、最先端のモデルにアクセスし、それらをさまざまな機械学習タスクに使用するための便利で強力な方法を提供します。センチメント分析、テキスト生成、ゼロショット分類のいずれに取り組んでいる場合でも、パイプライン API を使用すると、これらの高度なモデルをプロジェクトに統合するプロセスが簡素化されます。

わかりやすいインストール手順と実践的な例により、わずか数ステップで Transformers の活用を開始できます。 Hugging Face モデル ハブには、事前トレーニングされたモデルの広範なコレクションも用意されており、機械学習の最新の進歩を迅速に実装できます。

以上がハグ顔トランスフォーマーの力を機械学習に利用するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
Pythonを使用してテキストファイルのZIPF配布を見つける方法Pythonを使用してテキストファイルのZIPF配布を見つける方法Mar 05, 2025 am 09:58 AM

このチュートリアルでは、Pythonを使用してZIPFの法則の統計的概念を処理する方法を示し、法律の処理時にPythonの読み取りおよび並べ替えの効率性を示します。 ZIPF分布という用語が何を意味するのか疑問に思うかもしれません。この用語を理解するには、まずZIPFの法律を定義する必要があります。心配しないでください、私は指示を簡素化しようとします。 ZIPFの法則 ZIPFの法則は単に意味します。大きな自然言語のコーパスでは、最も頻繁に発生する単語は、2番目の頻繁な単語のほぼ2倍の頻度で表示されます。 例を見てみましょう。アメリカ英語の茶色のコーパスを見ると、最も頻繁な言葉は「thであることに気付くでしょう。

Pythonでファイルをダウンロードする方法Pythonでファイルをダウンロードする方法Mar 01, 2025 am 10:03 AM

Pythonは、インターネットからファイルをダウンロードするさまざまな方法を提供します。これは、urllibパッケージまたはリクエストライブラリを使用してHTTPを介してダウンロードできます。このチュートリアルでは、これらのライブラリを使用してPythonからURLからファイルをダウンロードする方法を説明します。 ライブラリをリクエストします リクエストは、Pythonで最も人気のあるライブラリの1つです。クエリ文字列をURLに手動で追加したり、POSTデータのエンコードをフォームに追加せずに、HTTP/1.1リクエストを送信できます。 リクエストライブラリは、以下を含む多くの機能を実行できます フォームデータを追加します マルチパートファイルを追加します Python応答データにアクセスします リクエストを行います 頭

HTMLを解析するために美しいスープを使用するにはどうすればよいですか?HTMLを解析するために美しいスープを使用するにはどうすればよいですか?Mar 10, 2025 pm 06:54 PM

この記事では、Pythonライブラリである美しいスープを使用してHTMLを解析する方法について説明します。 find()、find_all()、select()、およびget_text()などの一般的な方法は、データ抽出、多様なHTML構造とエラーの処理、および代替案(SEL

Pythonでの画像フィルタリングPythonでの画像フィルタリングMar 03, 2025 am 09:44 AM

ノイズの多い画像を扱うことは、特に携帯電話や低解像度のカメラの写真でよくある問題です。 このチュートリアルでは、OpenCVを使用してPythonの画像フィルタリング手法を調査して、この問題に取り組みます。 画像フィルタリング:強力なツール 画像フィルター

Pythonを使用してPDFドキュメントの操作方法Pythonを使用してPDFドキュメントの操作方法Mar 02, 2025 am 09:54 AM

PDFファイルは、クロスプラットフォームの互換性に人気があり、オペレーティングシステム、読み取りデバイス、ソフトウェア間でコンテンツとレイアウトが一貫しています。ただし、Python Plansing Plain Text Filesとは異なり、PDFファイルは、より複雑な構造を持つバイナリファイルであり、フォント、色、画像などの要素を含んでいます。 幸いなことに、Pythonの外部モジュールでPDFファイルを処理することは難しくありません。この記事では、PYPDF2モジュールを使用して、PDFファイルを開き、ページを印刷し、テキストを抽出する方法を示します。 PDFファイルの作成と編集については、私からの別のチュートリアルを参照してください。 準備 コアは、外部モジュールPYPDF2を使用することにあります。まず、PIPを使用してインストールします。 ピップはpです

DjangoアプリケーションでRedisを使用してキャッシュする方法DjangoアプリケーションでRedisを使用してキャッシュする方法Mar 02, 2025 am 10:10 AM

このチュートリアルでは、Redisキャッシングを活用して、特にDjangoフレームワーク内でPythonアプリケーションのパフォーマンスを向上させる方法を示しています。 Redisのインストール、Django構成、およびパフォーマンスの比較をカバーして、Beneを強調します

Natural Language Toolkit(NLTK)の紹介Natural Language Toolkit(NLTK)の紹介Mar 01, 2025 am 10:05 AM

自然言語処理(NLP)は、人間の言語の自動または半自動処理です。 NLPは言語学と密接に関連しており、認知科学、心理学、生理学、数学の研究とのリンクがあります。コンピューターサイエンスで

TensorflowまたはPytorchで深い学習を実行する方法は?TensorflowまたはPytorchで深い学習を実行する方法は?Mar 10, 2025 pm 06:52 PM

この記事では、深い学習のためにTensorflowとPytorchを比較しています。 関連する手順、データの準備、モデルの構築、トレーニング、評価、展開について詳しく説明しています。 特に計算グラップに関して、フレームワーク間の重要な違い

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

Dreamweaver Mac版

Dreamweaver Mac版

ビジュアル Web 開発ツール

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。