Exemples de définition flexible de numpy de la structure du réseau neuronal en Python

Cet article présente principalement la méthode Python de définition flexible de la structure du réseau neuronal basée sur numpy. Il analyse les principes de la structure du réseau neuronal et la méthode de mise en œuvre spécifique de Python sous forme d'exemples. pour effectuer des opérations mathématiques en Python. Les amis peuvent se référer à

Cet article décrit comment Python peut définir de manière flexible la structure du réseau neuronal basée sur numpy. Partagez-le avec tout le monde pour votre référence, les détails sont les suivants :

En utilisant numpy, vous pouvez définir de manière flexible la structure du réseau neuronal, et vous pouvez également appliquer la puissante fonction d'opération matricielle de numpy !

1. Utilisation

1). Définir un réseau neuronal à trois couches :

'''示例一'''
nn = NeuralNetworks([3,4,2]) # 定义神经网络
nn.fit(X,y) # 拟合
print(nn.predict(X)) #预测

Description :
Nombre de nœuds de couche d'entrée : 3
Nombre de nœuds de couche cachés : 4
Nombre de nœuds de couche de sortie : 2

2). -réseau neuronal de couche :

'''示例二'''
nn = NeuralNetworks([3,5,7,4,2]) # 定义神经网络
nn.fit(X,y) # 拟合
print(nn.predict(X)) #预测

Description :
Nombre de nœuds de couche d'entrée : 3
Nombre de nœuds cachés de couche 1 : 5
Nombre de nœuds cachés de la couche 2 : 7
Nombre de nœuds cachés de la couche 3 : 4
Nombre de nœuds de la couche de sortie : 2

2. Mise en œuvre

La méthode de mise en œuvre suivante est la mienne (@hhh5460) Originale. Points clés : dtype=object

import numpy as np
class NeuralNetworks(object):
  ''''''
  def __init__(self, n_layers=None, active_type=None, n_iter=10000, error=0.05, alpha=0.5, lamda=0.4):
    '''搭建神经网络框架'''
    # 各层节点数目 (向量)
    self.n = np.array(n_layers) # 'n_layers必须为list类型，如：[3,4,2] 或 n_layers=[3,4,2]'
    self.size = self.n.size # 层的总数
    # 层 (向量)
    self.z = np.empty(self.size, dtype=object) # 先占位(置空)，dtype=object ！如下皆然
    self.a = np.empty(self.size, dtype=object)
    self.data_a = np.empty(self.size, dtype=object)
    # 偏置 (向量)
    self.b = np.empty(self.size, dtype=object)
    self.delta_b = np.empty(self.size, dtype=object)
    # 权 (矩阵)
    self.w = np.empty(self.size, dtype=object)
    self.delta_w = np.empty(self.size, dtype=object)
    # 填充
    for i in range(self.size):
      self.a[i] = np.zeros(self.n[i]) # 全零
      self.z[i] = np.zeros(self.n[i]) # 全零
      self.data_a[i] = np.zeros(self.n[i]) # 全零
      if i < self.size - 1:
        self.b[i] = np.ones(self.n[i+1])  # 全一
        self.delta_b[i] = np.zeros(self.n[i+1]) # 全零
        mu, sigma = 0, 0.1 # 均值、方差
        self.w[i] = np.random.normal(mu, sigma, (self.n[i], self.n[i+1])) # # 正态分布随机化
        self.delta_w[i] = np.zeros((self.n[i], self.n[i+1])) # 全零

Le code complet ci-dessous est la façon dont j'ai appris apprentissage automatique du didacticiel de Stanford, entièrement tapé par moi-même :

import numpy as np
'''
参考：http://ufldl.stanford.edu/wiki/index.php/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
'''
class NeuralNetworks(object):
  ''''''
  def __init__(self, n_layers=None, active_type=None, n_iter=10000, error=0.05, alpha=0.5, lamda=0.4):
    '''搭建神经网络框架'''
    self.n_iter = n_iter # 迭代次数
    self.error = error # 允许最大误差
    self.alpha = alpha # 学习速率
    self.lamda = lamda # 衰减因子 # 此处故意拼写错误！
    if n_layers is None:
      raise '各层的节点数目必须设置！'
    elif not isinstance(n_layers, list):
      raise 'n_layers必须为list类型，如：[3,4,2] 或 n_layers=[3,4,2]'
    # 节点数目 (向量)
    self.n = np.array(n_layers)
    self.size = self.n.size # 层的总数
    # 层 (向量)
    self.a = np.empty(self.size, dtype=object) # 先占位(置空)，dtype=object ！如下皆然
    self.z = np.empty(self.size, dtype=object)
    # 偏置 (向量)
    self.b = np.empty(self.size, dtype=object)
    self.delta_b = np.empty(self.size, dtype=object)
    # 权 (矩阵)
    self.w = np.empty(self.size, dtype=object)
    self.delta_w = np.empty(self.size, dtype=object)
    # 残差 (向量)
    self.data_a = np.empty(self.size, dtype=object)
    # 填充
    for i in range(self.size):
      self.a[i] = np.zeros(self.n[i]) # 全零
      self.z[i] = np.zeros(self.n[i]) # 全零
      self.data_a[i] = np.zeros(self.n[i]) # 全零
      if i < self.size - 1:
        self.b[i] = np.ones(self.n[i+1])  # 全一
        self.delta_b[i] = np.zeros(self.n[i+1]) # 全零
        mu, sigma = 0, 0.1 # 均值、方差
        self.w[i] = np.random.normal(mu, sigma, (self.n[i], self.n[i+1])) # # 正态分布随机化
        self.delta_w[i] = np.zeros((self.n[i], self.n[i+1])) # 全零
    # 激活函数
    self.active_functions = {
      &#39;sigmoid&#39;: self.sigmoid,
      &#39;tanh&#39;: self.tanh,
      &#39;radb&#39;: self.radb,
      &#39;line&#39;: self.line,
    }
    # 激活函数的导函数
    self.derivative_functions = {
      &#39;sigmoid&#39;: self.sigmoid_d,
      &#39;tanh&#39;: self.tanh_d,
      &#39;radb&#39;: self.radb_d,
      &#39;line&#39;: self.line_d,
    }
    if active_type is None:
      self.active_type = [&#39;sigmoid&#39;] * (self.size - 1) # 默认激活函数类型
    else:
      self.active_type = active_type
  def sigmoid(self, z):
    if np.max(z) > 600:
      z[z.argmax()] = 600
    return 1.0 / (1.0 + np.exp(-z))
  def tanh(self, z):
    return (np.exp(z) - np.exp(-z)) / (np.exp(z) + np.exp(-z))
  def radb(self, z):
    return np.exp(-z * z)
  def line(self, z):
    return z
  def sigmoid_d(self, z):
    return z * (1.0 - z)
  def tanh_d(self, z):
    return 1.0 - z * z
  def radb_d(self, z):
    return -2.0 * z * np.exp(-z * z)
  def line_d(self, z):
    return np.ones(z.size) # 全一
  def forward(self, x):
    &#39;&#39;&#39;正向传播（在线）&#39;&#39;&#39; 
    # 用样本 x 走一遍，刷新所有 z, a
    self.a[0] = x
    for i in range(self.size - 1):
      self.z[i+1] = np.dot(self.a[i], self.w[i]) + self.b[i] 
      self.a[i+1] = self.active_functions[self.active_type[i]](self.z[i+1]) # 加了激活函数
  def err(self, X, Y):
    &#39;&#39;&#39;误差&#39;&#39;&#39;
    last = self.size-1
    err = 0.0
    for x, y in zip(X, Y):
      self.forward(x)
      err += 0.5 * np.sum((self.a[last] - y)**2)
    err /= X.shape[0]
    err += sum([np.sum(w) for w in self.w[:last]**2])
    return err
  def backward(self, y):
    &#39;&#39;&#39;反向传播（在线）&#39;&#39;&#39;
    last = self.size - 1
    # 用样本 y 走一遍，刷新所有delta_w, delta_b
    self.data_a[last] = -(y - self.a[last]) * self.derivative_functions[self.active_type[last-1]](self.z[last]) # 加了激活函数的导函数
    for i in range(last-1, 1, -1):
      self.data_a[i] = np.dot(self.w[i], self.data_a[i+1]) * self.derivative_functions[self.active_type[i-1]](self.z[i]) # 加了激活函数的导函数
      # 计算偏导
      p_w = np.outer(self.a[i], self.data_a[i+1]) # 外积！感谢 numpy 的强大！
      p_b = self.data_a[i+1]
      # 更新 delta_w, delta_w
      self.delta_w[i] = self.delta_w[i] + p_w
      self.delta_b[i] = self.delta_b[i] + p_b
  def update(self, n_samples):
    &#39;&#39;&#39;更新权重参数&#39;&#39;&#39;
    last = self.size - 1
    for i in range(last):
      self.w[i] -= self.alpha * ((1/n_samples) * self.delta_w[i] + self.lamda * self.w[i])
      self.b[i] -= self.alpha * ((1/n_samples) * self.delta_b[i])
  def fit(self, X, Y):
    &#39;&#39;&#39;拟合&#39;&#39;&#39;
    for i in range(self.n_iter):
      # 用所有样本，依次
      for x, y in zip(X, Y):
        self.forward(x) # 前向，更新 a, z;
        self.backward(y) # 后向，更新 delta_w, delta_b
      # 然后，更新 w, b
      self.update(len(X))
      # 计算误差
      err = self.err(X, Y)
      if err < self.error:
        break
      # 整千次显示误差（否则太无聊！）
      if i % 1000 == 0:
        print(&#39;iter: {}, error: {}&#39;.format(i, err))
  def predict(self, X):
    &#39;&#39;&#39;预测&#39;&#39;&#39;
    last = self.size - 1
    res = []
    for x in X:
      self.forward(x)
      res.append(self.a[last])
    return np.array(res)
if __name__ == &#39;__main__&#39;:
  nn = NeuralNetworks([2,3,4,3,1], n_iter=5000, alpha=0.4, lamda=0.3, error=0.06) # 定义神经网络
  X = np.array([[0.,0.], # 准备数据
         [0.,1.],
         [1.,0.],
         [1.,1.]])
  y = np.array([0,1,1,0])
  nn.fit(X,y)     # 拟合
  print(nn.predict(X)) # 预测

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!