ネストされたサンプリング アルゴリズムの基本原理と実装プロセスを調べる

ネストされたサンプリング アルゴリズムは、複雑な確率分布の下で積分または合計を計算するために使用される効率的なベイズ統計推論アルゴリズムです。これは、パラメーター空間を等しい体積の複数のハイパーキューブに分解し、最小体積のハイパーキューブの 1 つを徐々に反復的に「押し出し」、そのハイパーキューブをランダムなサンプルで満たして、確率分布の整数値をより適切に推定することによって機能します。ネストされたサンプリング アルゴリズムは、継続的な反復を通じて、高精度の整数値とパラメーター空間の境界を取得でき、モデルの比較、パラメーターの推定、モデルの選択などの統計的問題に適用できます。このアルゴリズムの中心的な考え方は、複雑な積分問題を一連の単純な積分問題に変換し、パラメーター空間の体積を徐々に減らすことで実際の積分値に近づくことです。各反復ステップでは、ランダム サンプリングを通じてパラメーター空間からサンプルを取得し、サンプルの確率密度関数に従って重み付けされた計算を実行して、整数値の推定値を取得します。ネストされたサンプリング アルゴリズムの利点は、さまざまな複雑な確率分布を処理でき、計算効率と精度の点で優れたパフォーマンスを発揮できることです。

ネストされたサンプリング アルゴリズムは、2004 年に Skilling によって最初に提案されました。これは、天文学、統計、物理学、生物学、その他の分野でのデータ分析とモデル比較に広く使用されています。以下では、ネストされたサンプリング アルゴリズムの基本的な考え方と実装プロセスを、簡単な例を通して紹介します。

正規分布の確率密度関数 p(x) があり、実数区間全体にわたるその積分値を計算したいとします。つまり、∫p を解きたいとします。 (x)dx。正規分布の性質により、p(x) の整数値は 1 であることがわかります。この特性を検証するために、計算にネストされたサンプリング アルゴリズムを使用できます。このアルゴリズムの基本的な考え方は、正規分布上でランダムにサンプリングし、サンプリング点の加重加算を実行することで整数値を近似することです。サンプリングと加重加算の処理を繰り返し実行することで、正規分布の性質を検証するのに十分な 1 に近い整数値を得ることができます。

まず、パラメータ空間 [-∞, ∞] を等しい体積の複数の超立方体 V_i に分解します。各超立方体の体積は ΔV = 1/N (N は数値) です。ハイパーキューブの。 x_i を使用して i 番目のハイパーキューブ内のランダム サンプルを表し、p(x_i) の値を計算します。各ハイパーキューブを確実に埋めるには、1 つのハイパーキューブからいくつかのサンプルをランダムにサンプリングし、これらのサンプルを他のハイパーキューブに埋める必要があります。このようにして、各超立方体が満たされ、確率密度関数のより正確な推定値が得られます。

次に、確率密度関数の値が最小となる超立方体 V_{\text{min}} を選択する必要があります。このプロセスを実装するには、V_{\text{min}} の最小の確率密度関数値を持つサンプルを削除する必要があります。つまり、V_{\text から x_i の最小の確率密度関数値を持つすべてのサンプルを削除する必要があります。 {分}} 。このプロセス中に、V_{\text{min}} の体積と最小確率密度関数の値を記録し、次の反復の参照値として使用する必要があります。

すべてのハイパーキューブが「押し出される」まで上記のプロセスを繰り返します。この時点で、完全な確率密度関数の推定値と積分値の近似値が得られます。具体的な実装手順は以下の通りです。

import numpy as np

def log_likelihood(x):
"""定义概率密度函数"""
return -0.5 * x ** 2

def nested_sampling(N, log_likelihood):
"""嵌套采样算法实现"""
log_X = -np.inf
logL = [log_likelihood(np.random.randn()) for i in range(N)]
for i in range(N):
# 找到最小的概率密度函数值的样本
idx = np.argmin(logL)
logL[idx] = np.inf
# 计算当前的体积和概率密度函数值
log_X_new = logL[idx] - np.log(N - i)
logL_new = log_likelihood(np.random.randn())
# 更新 X 和 logL
log_X = np.logaddexp(log_X,log_X_new)
logL[idx] = logL_new
# 返回结果
return log_X, log_X - np.log(N)

このうち、Nはハイパーキューブの数、log_likelihoodは確率密度関数の対数値、log_Xは対数積分値の近似値、logLは各ハイパーキューブの最小確率密度関数値の対数値 np.logaddexp は、数値のアンダーフローまたはオーバーフローを回避するために使用される対数加算関数です。

上記のコードでは、まず正規分布の確率密度関数 log_likelihood を定義し、次にnested_sampling 関数を通じてネストされたサンプリング アルゴリズムを実装します。この関数では、まず log_X の値を負の無限大に初期化し、次にループを N 回繰り返して最小の確率密度関数値を持つサンプルを見つけ、現在の量と確率密度関数値を計算し、次の値を更新します。 log_X と logL、そして最終結果を返します。

上記コードでは整数値を直接計算するのではなく、その対数値log_Xを計算していることに注意してください。これは、実際の計算では確率密度関数の値が多くの場合、非常に小さいため、数値のアンダーフローまたはオーバーフローが発生する可能性があります。したがって、通常は対数値を使用して積分を計算します。これにより、数値的な問題が回避され、確率密度関数の積と積分をより適切に処理できるようになります。

ネストされたサンプリング アルゴリズムは、複雑な確率分布の下で積分または合計を計算するために使用できる、非常に効果的な統計的推論アルゴリズムです。その主なアイデアは、パラメーター空間を等しい体積の複数のハイパーキューブに分解し、ランダムにサンプリングしてハイパーキューブを「押し出す」ことで継続的に反復して、パラメーター空間の高精度の整数値と境界を取得することです。ネストされたサンプリング アルゴリズムは、天文学、統計、物理学、生物学などの分野でのデータ分析やモデル比較に広く使用されています。

以上がネストされたサンプリング アルゴリズムの基本原理と実装プロセスを調べるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。