この図は、医薬品推奨システムにおける学習技術の応用を示しています。

はじめに: 今回のトピックは、医薬品推奨システムにおけるグラフ表現学習技術の応用です。

# には主に次の 4 つの部分が含まれます:

• 研究の背景と課題
• 差別化医薬品パッケージの推奨
• 生成医薬品パッケージの推奨
• #概要と展望

1. 研究の背景と課題

#1. 研究の背景

##医療資源の全体的な不足と偏在が大きなプレッシャーをもたらしています

• #医薬品の推奨はスマート医療のサブ問題です。スマート医療の一般的な背景から始めましょう。我が国ではスマート医療が急務となっています。人口の増加と高齢化の進行により、質の高い医療サービスに対する人々の需要は高まり続けています。図中の 2 つのデータ: 1 つ目は、全国の医療機関の受診者数は 60 億 5,000 万人で、前年比 22.4% 増加、2 つ目は、ランセット誌に掲載された各国の医療と健康状態に関する統計中国の医師のうち、医師を含めて学士号以上の学位を持っている人はわずか57.4%であることが示されている。看護師や地域医療従事者を含む16の医療分野における人口1万人当たりの開業医の数は、中国の3分の1にすぎない。アメリカ。我が国の受診者数、治療者数は増加の一途をたどっていますが、先進国に比べて医療資源や医療水準が依然として不足しており、また、医療資源の偏在の問題もあります。一次医療機関の医療レベルは比較的限られているが、トップレベルの医療機関の供給は需要を上回っている。このため、高度医療機関の診断・治療経験をいかに活用して一次医療機関の医療レベルの向上に役立てるかは、早急に解決すべき重要な課題となっている。

#スマート医療、人工知能テクノロジーが夜明けをもたらす

• ## 近年、医療機関のデジタル化が加速しており、我が国の多くの医療機関、特に三次病院などの高度医療機関では、非常に豊富な電子カルテデータが蓄積されております。ビッグデータ人工知能技術を使用してこの情報を完全にマイニングし、関連する知識を抽出することができれば、これらの高レベルの機関の医療専門家の診断および治療方法やアイデアの一部を理解するのに役立ち、その後のスマートなフォローアップをサポートできる可能性があります。訪問、医療画像分析、慢性疾患の追跡調査など。一連のダウンストリームのスマート医療アプリケーションは重要な意味を持ちます。

2. 研究の課題

現在、医療 AI テクノロジーはますます広く使用されています。医療サービスの公平性と普遍化を推進します。医用画像解析など一部のAI技術は目覚ましい成果をあげているものの、薬剤推奨システムは従来の推奨システムとは大きく異なり、技術的な問題も多く困難が多いため、医薬品推奨システムにはほとんど活用されていません。 。

#パック推奨システム

• ##最初の課題は、協調フィルタリングやその他の方法に基づく従来のレコメンデーション システムのアプリケーション シナリオは、主に一度に 1 つのアイテムを 1 人のユーザーに推奨することであるということです。入力は 1 つのアイテムと 1 人のユーザーの表現であり、出力は 2 つのうちの 1 つであり、それらの間の一致度をスコア化します。ただし、薬剤の推奨では、医師は多くの場合、一度に複数の薬剤を患者に処方する必要があります。医薬品推奨システムは、実際にはパッケージ推奨システムと呼ばれる、一連の医薬品を同時にユーザーに推奨するパッケージ推奨システムです。医薬品の推奨とパッケージ推奨システムをどのように組み合わせるかが、私たちが直面する最初の大きな課題です。

薬物相互作用

• 医薬品推奨システムの 2 番目の課題は、医薬品間の多様な相互作用です。薬には、お互いの効果を促進する相乗効果があるものと、お互いの効果を打ち消し合う拮抗作用があるものがあり、併用することで毒性や副作用が生じる場合があります。写真の患者さんは何らかの腎臓病を患っていますが、左側は医師が患者さんに処方した薬で、中には相乗効果を持って薬の効果を促進するものもあります。右の部分は、症状のある高頻度薬剤を統計的に分析したものです。以下の薬剤は一部の既存薬剤に対して毒性を示す可能性があるため、この患者には使用されていません。

  #さらに、薬物相互作用の影響は個人差があります。統計から、拮抗作用、さらには毒性作用を持つ多数の薬物が同時に使用されていることがわかりました。分析によると、実際には医師は患者の状態に基づいて相互作用の影響を考慮して薬を処方しているという。たとえば、腎臓が健康な一部の患者は、ある程度の薬物腎毒性に耐えることができるため、薬物間の相互作用の個別化モデリングと分析を行う必要があります。

  #3. 新たな可能性となるグラフ表現学習技術

  

  要約すると、上記の課題と組み合わせると、グラフ表現学習テクノロジーは医薬品推奨システムに存在する問題を解決するのに非常に適しています。グラフ ニューラル ネットワークの急速な発展に伴い、グラフ ニューラル ネットワーク技術がノード間の組み合わせ効果やノード間の関係を非常に効果的にモデル化できることが人々に認識され、グラフ表現学習技術が医薬品推奨システムを構築するための有用なツールになる可能性があると考えられています。鋭利な道具。

  #たとえば、図では、薬物パッケージ内の相互作用に基づいてグラフを構築し、既存のグラフ ニューラルを通じてモデル化できます。通信網。上記の考えに基づいて、私たちはグラフ深層学習技術を使用して医薬品推奨システムに関する 2 つの研究を行い、それぞれ WWW および TOIS ジャーナルに発表しました。

  2. 差別化された医薬品パッケージの推奨事項

  まず、WWW2021 論文に掲載した医薬品パッケージの推奨事項を紹介します。本論文では、パッケージ推薦システムで広く用いられている判別モデル定義手法をモデリングに採用し、さらにコア技術部分としてグラフ表現学習技術を利用しています。

  #1. データの説明

  • 電子症例データ

  

  ##まず、作業で使用したデータの説明を紹介します。

  調査作業で使用した電子医療記録は、大規模な三次病院の実際の電子医療記録データベースからのものであり、各電子医療記録には次の情報が含まれています。 : 種類情報: 第一に、患者の年齢、性別、医療保険などを含む患者の基本情報、第二に、医師が懸念する検査結果の異常や異常の種類などの患者の検査情報: 高、低、陽性か否かなど、3 番目は医師が患者のために書いた状態の説明で、患者が入院した理由や事前の身体検査などの情報が含まれ、最後に一連の薬が含まれます。医師が患者のために処方したもの。

  #この電子医療記録データは、年齢、性別、臨床検査などの構造化情報と、疾患の説明などの非構造化テキスト情報を含む異種データです。

  • 薬物データ

  薬物間の相互作用を研究するために、私たちは 2 つの大規模なオンライン オープンソース薬物知識ベース、DrugBank と Pharmaceutical Network からいくつかの薬物の属性と相互作用データを収集しました。薬物相互作用は、いくつかのテンプレートに基づいた自然言語の説明です。上の図に示すように、説明欄では、特定の薬物が代謝をどのように高めるか、代謝を弱めるかなどについて説明します。真ん中の単語がテンプレートで、前後がテンプレートです。薬名を埋めました。したがって、モデルの分類が明確である限り、データベース内のすべての薬物相互作用をマークできます。

  したがって、専門の医師の指導の下、薬物相互作用を相互作用なし、相乗効果、拮抗作用に分けて検討します。薬物相互作用の分類が得られました。

  2. データの前処理と問題定義

  データの前処理に関しては、電子医療記録データの場合、次の 2 つのパートに分かれています。患者の基本情報や検査情報はワンホットベクターに加工し、疾患説明文部分はパディングとカットオフを経て固定長テキストに変換します。薬物相互作用データの場合: 薬物相互作用マトリックスに変換します。

  同時に、問題は次のように定義されます。患者の説明のグループと対応するグラウンドトゥルースの医薬品パッケージが与えられた場合、パーソナライズされたスコアリングをトレーニングします。特定の患者とサンプルパッケージを入力し、一致スコアを出力できる関数です。明らかに、これが判別モデルの定義方法です。

  3. モデルの概要

  この記事で提案されている論文のタイトルは、「DPR: Drug Package Recommendation」です。インタラクションを意識したグラフ誘導経由。モデルは 3 つの部分で構成されます。

  事前トレーニング部分では、NCF フレームワークに基づいて患者と薬剤の初期表現を取得します。

  #薬物パッケージ構築部分では、薬物相互作用関係のタイプに基づいて薬物パッケージを薬物グラフに構築する方法を提案します。

  最後の部分はグラフベースの医薬品パッケージ推奨フレームワークで、2 つの異なる視点から構築する方法を理解できるように 2 つの異なるバリアントが設計されています。モデル薬の間。

  #プレトレーニング

  #まず、事前トレーニング部分は従来の 1 対 1 の推薦方法に従って実施されます。症例を考えると、医師が患者に使用した薬が陽性の場合、使用されなかった薬が陰性の場合となります。 BPRLoss によって事前にトレーニングされているため、使用済みの薬物は未使用の薬物よりもスコアが高くなります。

  プレトレーニング部分は主に基本的な薬効情報を取得することであり、後でより複雑な相互作用を取得するための基礎を提供します。ワンホット部分では MLP を使用して特徴を抽出し、テキスト部分では LSTM を使用してテキスト特徴を抽出します。

  #ドラッグダイアグラムの構築

  #従来の推奨と比較して、医薬品推奨の中心的な問題は、医薬品間の相互作用をどのように考慮し、医薬品パッケージの表現を取得するかということです。これに基づいて、本論文は、グラフィカルモデルに基づく医薬品パッケージモデリング方法を提案する。

  

  まず、マークされた薬物相互作用関係が薬物相互作用マトリックスに変換されます。このマトリックスでは、異なる値が異なる相互作用タイプを表します。次に、この瞬間に基づいて、任意の薬剤パッケージを異種薬剤グラフに変換できます。グラフ内のノードは薬剤パッケージ内の薬剤に対応し、ノードの属性は、ノードが事前に訓練された埋め込みに対応することです。一つ前の手順。同時に、過度の計算を避けるために、薬物グラフを完全なグラフに構築せず、2 つの薬物間のエッジを許可せず、それらを選択的に保持しました。通過した薬物ペアと、その頻度が特定のしきい値を超えたエッジの数。

  • #ドラッグマップ構築

  を実行するために薬物マップの効果的な表現。薬物グラフのエッジ属性を形式化する 2 つの方法を提案します。

  

  最初の形式は DPR-WG で、重み付けされたグラフを使用して薬物グラフを表します。最初のステップは、マークされた薬物相互作用に基づいてエッジの完全な値を初期化することです。ここで、-1 は拮抗作用を表し、1 は相乗作用を表し、0 は相互作用なしまたは不明を表します。次に、マスク ベクトルを使用して、ドラッグ グラフのエッジの重みに対する個別の更新が実行されます。
  このマスク ベクトルは、さまざまな薬物の相互作用と個々の患者に対する個別化された影響の程度を反映しています。その計算方法は、非線形層とシグモイド関数を使用することです。各次元の値は 0 から 1 です。 、それによって特徴選択の役割と薬物相互作用の個別調整を実現します。薬物グラフの更新処理は、まず DPR-WG で更新係数を計算し、対応するエッジの重みを乗算または加算することで更新係数を更新します。その後の実験では、更新方法は結果にほとんど影響を与えないことが判明し、薬物グラフ表現の過程で重み付けされたグラフに基づいて薬物を表現する方法を設計しました。
  要約すると、最初に重み付きグラフの情報更新プロセスを設計しました: 近傍情報を集約します。集約プロセス中に、エッジの重みに基づいて、次数をパーソナライズします。集約の。次に、セルフ アテンション メカニズムを使用して異なるノード間の重みを計算し、集約 MLP を使用してグラフを集約し、薬物グラフ全体の最終的な表現を取得しました。その後、患者の表現と薬剤の画像の表現がスコアリング機能に入力され、推奨用の出力を取得できます。
  さらに、この記事では、BPRLoss を使用してモデルをトレーニングし、1 つの正のサンプルと 10 の負のサンプルに対応する負のサンプリング方法を紹介します。

  #2 番目の変形は、属性グラフを使用して薬物グラフを表すことです。最初のステップは、MLP を通じてエッジの両端のノード ベクトルを融合することにより、エッジ ベクトルを初期化することです。次に、マスク ベクトルはエッジ ベクトルの更新にも使用されます。このとき、更新メソッドは更新係数ではなくなり、更新ベクトルを計算します。更新ベクトルは要素ごとに薬物のエッジ ベクトルと乗算されて取得されます。更新されたエッジ属性ベクトル。属性グラフ用に特別に GNN を設計しました。メッセージ パッシング プロセスは、最初にエッジ ベクトルと伝播のために両端のノード エンベディングに基づいてメッセージを計算し、se

  lf アテンションおよび集計メソッドを通じてグラフ エンベディングを取得します。 。
  BPRLoss をトレーニングに使用することもできます。違いは、エッジ分類に追加のクロスエントロピー損失関数を導入していることです。エッジ ベクトルが薬物間の相互作用が含まれる可能性があります 機能カテゴリー情報。前のバリアントの初期化された符号は当然この情報を保持しますが、このバリアントのグラフは保持しないため、この情報は損失関数を導入することによって補足されます。

  実験結果から、我々の 2 つのモデルは、さまざまな評価指標において他の判別モデルを上回っています。同時に、t-SNE 法を使用して、前述のマスク ベクトルを 2 次元空間に投影するケース分析も実行しました。図に示すように、たとえば、妊婦、乳児、肝臓病患者が使用する薬剤はクラスターにクラスター化する傾向が非常に明白であり、この方法の有効性が証明されています。

  3. 生成医薬品パッケージの推奨

  上記の判別モデルは既存の医薬品パッケージでのみ使用可能です 選択, 新しい医薬品パッケージを生成する機能がなければ、推奨効果に影響を与えるでしょう. 次に, TOISジャーナルに掲載された以前の研究の拡張作業を紹介します. その目的は, このモデルが新しい患者に合わせた新薬を生成できることを期待することです. . 薬のパッケージ。

  この研究では、前の論文でのグラフ表現学習の核となるアイデアを維持しながら、問題定義を完全に変更し、モデルを生成モデルとして定義します。生成および強化学習テクノロジーにより、推奨効果が大幅に向上しました。

  1. 判別型推奨 -> 生成型推奨

  

  ##判別式 主要な違い処方モデルと生成モデルの違いは、判別モデルが特定の患者と特定の薬剤パッケージの間の一致度をスコアリングするのに対し、生成モデルは患者に最適な薬剤パッケージの候補を生成し、最適な薬剤パッケージを選択することです。

  #2. ヒューリスティックな生成方法

  

  上記を踏まえると判別モデルの欠点に対処するために、私たちはいくつかのヒューリスティックな生成方法を設計しました。類似した患者の薬剤パッケージ内のいくつかの薬剤を追加および削除することにより、過去の記録に一度も登場したことのないいくつかの薬剤パッケージがモデルで選択できるように形成されます。実験結果は、この単純な方法が非常に効果的であることを証明し、その後の方法の基礎を提供します。

  3. モデル概要

  

  以下は TOIS Interaction に掲載されています-ポリシー勾配記事による医薬品パッケージ推奨を認識。この記事で提案するモデルは前回の DPR とは異なり DPG と呼ばれるもので、ここでの G は Generation です。

  このモデルは主に 3 つの部分、つまり薬物相互作用図に関する情報配布、患者の特性評価、および薬物パッケージ生成モジュールと上記の 3 つの部分で構成されています。最大の違いは医薬品パッケージ生成モジュール。

  • #薬物相互作用チャート

  

  ##最初に薬物相互作用グラフ部分を構築します。この記事では、薬物間の相互作用を捕捉するためのグラフ ニューラル ネットワークの手法を継承しています。違いは、判別モデルでは薬物パッケージが与えられており、簡単に薬物に変換できることです。生成モデルでは薬剤グラフは固定されておらず、計算量の都合上、全ての薬剤パッケージをグラフ化することは不可能です。
  この記事には、薬物相互作用グラフ内のすべての薬物が含まれています。また、エッジ分類損失も保持しながら、属性グラフを使用してグラフを形式化しています。関数、保持エッジの埋め込み情報、そして最終的にこの薬物相互作用グラフに基づく GNN が構築されました。
  メッセージパッシングを数回 (通常は 2 回) 行った後、使用する薬物 Embedding としてノード Embedding を抽出します。
  • 患者の特徴付け

  

  患者の特徴付けの部分もMLP と LSTM は、患者の表現ベクトルを抽出するために使用され、マスク ベクトルも計算され、その後、患者の個人化された表現ベクトルをキャプチャするために使用されます。

  • #配列生成に基づく薬物パッケージの生成

  

  薬物パッケージ生成タスクは、リカレント ニューラル ネットワーク RNN を使用して実装されるシーケンス生成タスクとみなすことができます。ただし、この方法には 2 つの大きな課題もあります:

  最初の課題は、生成プロセス中に生成された薬物と既存の薬物の間の相互作用をどのように考慮するかということです。この目的を達成するために、薬物相互作用ベクトルに基づいて薬物間の相互作用を明示的にモデル化する方法を提案します。

  2 番目の課題は、サンプル パッケージが本質的に順序付けされていないセットであるにもかかわらず、シーケンス生成タスクが順序付けされたシーケンス メソッドをターゲットにすることが多いことです。この目的のために、我々はポリシー勾配に基づく強化学習手法を提案し、このアルゴリズムの効果と安定性を向上させるためにSCSTに基づく手法を追加しました。

  • #最大尤度に基づいた医薬品パッケージの生成

  

  #まず、大自然に基づいて医薬品パッケージを生成する過程で薬物間の相互作用をどのように考慮するかを紹介しますが、この部分は後ほど使用する強化学習部分の基礎にもなります。最尤法に基づく配列生成手法は NLP の分野で広く使用されており、生成プロセス中、生成された各薬物は以前に生成された他の薬物に依存します。
  モデルにあまり多くの計算負担をかけずに薬物間の相互作用を考慮するために、新しく生成された薬物間の相互作用ベクトルを明示的に計算することを提案します。薬と前の薬このベクトル計算方法は、前のグラフ ニューラル ネットワークの層から来ています。
  同時に、マスク ベクトルとインタラクション ベクトルを追加して、対応する要素を乗算して、患者の個人情報を導入します。
  最後に、すべての薬物の相互作用ベクトルを合計し、MLP を使用してそれらを融合して、包括的な相互作用ベクトルを取得します。
  このベクトルを生成のために古典的な配列モデルに統合することで、最初の課題が解決されます。

  

  従来のシーケンス生成とは異なり、医薬品パッケージは実際にはコレクションであり、重複した医薬品があってはなりません。その後、すでに生成された薬物をモデルが生成することを防ぐ制限が追加され、生成された結果はセットでなければなりません。最後に、最尤度に基づく MLE 損失関数を使用してモデルをトレーニングしました。
  #強化学習に基づく薬物パッケージ生成
  最尤性に基づく上記の方法の最大の欠点は、医薬品パッケージに厳密な順序があることです。頻度による並べ替え、最初による並べ替えなど、医薬品の順序を手動で指定するいくつかの方法手紙などを入力すると薬剤が破壊されてしまい、パッケージコレクションの特性によってもモデルの性能が一部失われるため、強化学習に基づいた薬剤パッケージ生成モデルを提案しました。強化学習におけるモデルの目標は、人工的に設定された報酬関数を最大化することです。モデルが完全な医薬品パッケージを生成した後、順序に依存しない報酬損失関数を与えることで、モデルの順序への依存を減らすことができます。

  この記事では、順序に依存しない関数であり、注目する評価指標である F 値を報酬として使用します。この記事では、評価指標として F 値を使用し、トレーニング方法にポリシー勾配に基づいたトレーニング方法を採用していますが、ここでは詳しく説明しません。

  

  ポリシー勾配に基づくトレーニング方法の中で、最もよく知られている方法の 1 つは、ベースラインを使用して勾配推定値の分散を減らすことで、トレーニングの安定性が向上します。そこで、SCST に基づいた学習手法、つまり自己臨界シーケンス学習手法を使用しました。ベースラインもモデル自体が生成した薬剤パッケージから得られる報酬から来ており、生成方法はGreedy searchの通常のシーケンス生成方法です。

  Policy gradient に基づくモデルによってサンプリングされた医薬品パッケージの報酬が、従来の Greedy 検索によって生成された医薬品パッケージよりも高くなることが期待されます。これを踏まえて、本稿では図に示すような強化学習用の損失関数を設計しますが、その導出過程についてはここでは詳しく紹介しません。

  • #最尤事前トレーニング強化学習

  

  また、強化学習は学習が難しいという特徴があるため、非常に自然な推定手法を用いてモデルを事前学習し、次に、強化学習法を使用してモデル パラメーターを微調整します。

  • #実験結果

  次のステップは実験ですモデル結果の。

  

  上の表では、すべての医薬品パッケージが Greedy 検索を使用して生成されています。まず、生成モデルに基づく手法のパフォーマンスは、一般的に判別モデルに基づく手法よりも優れており、この実験は生成モデルがより良い選択であることを証明しています。このモデルは、F 値において他のすべてのベースラインを上回ります。また、強化学習に基づくモデルの性能は最尤法に基づくモデルを大きく上回り、強化学習手法の有効性が証明された。

  

  次に、一連のアブレーション実験を実施しました。インタラクションマスクベクトルやアブレーション用の強化学習モジュールを含むインタラクショングラフを削除したところ、各モジュールが有効であることが結果で証明されました。同時に、SCST モジュールが削除されるとモデルの効果が大幅に低下することがわかり、これは強化学習のトレーニングが実際に難しいことを証明しています。ベースライン制限がないと、トレーニング プロセス全体が非常に不安定になります。

  最後に、私たちは多くの事例分析も行いましたが、妊婦と赤ちゃんには明らかに個人的な好みがあることがわかりました。同時に、胃疾患、心臓病などの一般的な病気をいくつか追加しました。これらの病気のマスクベクターは非常に分散しており、クラスターを形成しません。一般疾患の患者さんの病状は多様であり、特別に個別化されることはありませんが、妊婦や乳幼児とは異なり、小児用の指定薬や使用できない薬など、薬剤の審査が非常に明確です。妊婦による。

  同時に、薬物の相互作用ベクトルを投影しました。2 つの薬物、相乗作用と拮抗作用が、相互作用時に 2 つの異なる対立を形成することがわかります。これは、モデルが 2 つの異なる相互作用によってもたらされる異なる効果を捉えていることを示しています。

  4. 概要と展望

  要約すると、私たちの研究は主に相互作用認識のパーソナライゼーションに関するものです。推奨事項には、差別的な医薬品パッケージの推奨事項と生成的な医薬品パッケージの推奨事項が含まれます。

  両者の共通点は、グラフ表現学習テクノロジーを使用して薬物間の相互作用をモデル化し、両方ともマスク ベクトルを使用して患者の状態の影響を考慮していることです。効果のパーソナライズされた認識。

  2 つの作品の最大の違いは、問題定義の違いです。判別モデルの場合、必要なのはスコアリング関数です。生成モデルの場合、必要なのはスコアリング関数です。必要なのは生成関数です。実験を通じて、生成モデルが実際に問題をより適切に定義できることが証明されています。

以上がこの図は、医薬品推奨システムにおける学習技術の応用を示しています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。