Hub documentation
Hugging FaceでのspaCyの活用
Hugging FaceでのspaCyの活用
spaCyは、業界全体で広く利用されている、高度な自然言語処理のための人気ライブラリです。spaCyを使用すると、固有表現認識、テキスト分類、品詞タグ付けなどのタスクのパイプラインを簡単に使用・学習でき、大量のテキストを処理・分析するための強力なアプリケーションを構築できます。
Hub内のspaCyモデルの探索
spaCy 3.3の公式モデルは、spaCyの組織ページにあります。コミュニティのメンバーが共有するspaCyモデルも利用可能で、モデルページの左側でフィルタリングすることで検索できます。
Hub上のすべてのモデルには、便利な機能が備わっています
- ラベルスキーム、メトリクス、コンポーネントなどを含む、自動生成されたモデルカード。
- 右上にある評価セクションで、メトリクスを確認できます。
- 検索可能性を高め、ライセンスや言語などの情報を含むメタデータタグ。
- ブラウザ上でモデルを直接試すことができるインタラクティブなウィジェット
- 推論リクエストを行うことを可能にするInference Providersウィジェット。
既存のモデルを使用する
Hub 上のすべての spaCy モデルは、pip install を使用して直接インストールできます。
pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"興味のあるリンクを見つけるには、spaCyモデルのリポジトリに移動します。リポジトリを開くと、Use in spaCyをクリックすることで、モデルのインストールと読み込みに使用できる動作するスニペットが提供されます。
インストールが完了すると、モデルを通常のspaCyパイプラインとして読み込むことができます。
# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")
# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()モデルの共有
spaCy CLIの使用（推奨）
spacy-huggingface-hub ライブラリは spaCy のネイティブ CLI を拡張し、パッケージ化されたモデルを Hub に簡単にプッシュできるようにします。
pipからspacy-huggingface-hubをインストールできます:
pip install spacy-huggingface-hub
その後、コマンドが正常に登録されたことを確認できます。
python -m spacy huggingface-hub --helpCLIでプッシュするには、以下に示すhuggingface-hub pushコマンドを使用できます。
python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
| 引数 | 型 | 説明 |
|---|---|---|
whl_path | str / Path | spacy packageにパッケージングされた.whlファイルへのパス。 |
--org, -o | str | パイプラインをアップロードする組織の任意の名前。 |
--msg, -m | str | 更新に使用するコミットメッセージ。デフォルトは"Update spaCy pipeline"です。 |
--local-repo, -l | str / Path | モデルリポジトリのローカルパス（存在しない場合は作成されます）。デフォルトでは、現在の作業ディレクトリ内のhubです。 |
--verbose, -V | bool | デバッグ用の追加情報（例: 生成されたハブメタデータの全体）を出力します。 |
その後、spacy packageでパッケージ化された任意のパイプラインをアップロードできます。バイナリの .whl ファイルを出力するには、--build wheelを設定してください。アップローダーは、パイプラインのパッケージからすべてのメタデータを読み取ります。これには、自動生成された見やすいREADME.mdと、meta.jsonで利用可能なモデルの詳細が含まれます。
hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whlわずか1分で、パッケージ化されたモデルをHubに公開し、ブラウザで直接試すことができ、コミュニティの他のメンバーと共有できます。必要なメタデータはすべて自動でアップロードされ、クールなモデルカードも手に入ります。
このコマンドは2つのものを出力します:
- Hubでリポジトリを見つける場所! 例: https://huggingface.co/spacy/en_core_web_sm
- そして、Hubからパイプラインを直接インストールする方法です!
Pythonスクリプトから
You can use the push function from Python. It returns a dictionary containing the "url" and ”whl_url” of the published model and the wheel file, which you can later install with pip install.
from spacy_huggingface_hub import push
result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])