人工智能入门第一本书：《python神经网络编程》神经网络标准入门代码模板

一、基础知识提要：

 

解释：

（1）X指代输入层或隐藏层与对应层之间的权重W与其输入数据做向量和的结果；W指代该层级的权重；下标中h，o指的是hidden层和output层对应的数据

（2）第三个公式是权重更新公式，α表示学习率（决定更新的幅度大小），E_k指该层（k层）的方向传播错误，O_k也是表示第k层输出，上标T表示矩阵转置。

感兴趣的同学可去查找权重更新公式的推导过程（在书本P72-76（顺便指出P117的本公式有错误，P76页为正确的））

二、神经网络模型及数据：

（1）本次使用的为最简单的三层神经网络模型包含一个输入层、隐藏层、输出层：

 

（2）数据：虽然本次代码搭建的为神经网络的框架，不需要对数据进行操作，但是需要说明的是数据都是矩阵形式的，需要注意代码中转置的地方。

三：代码及其注释

import numpy
import scipy.special

class neuralNetwork :
    #初始化神经网络
    def _init_(self, inputnodes, hiddennodes, outputnodes, learningrate) :
        #传入参数输入层，隐藏层及输出层的结点数
        self.inodes = inputnodes
        self.hnodes = hiddennodes
        self.onodes = outputnodes
        #初始化神经网络中的权重矩阵
        self.wih = numpy.random.normal(0.0, pow(self.hnodes, -0.5),(self.hnodes, self.inodes))
        self.who = numpy.random.normal(0.0, pow(self.onodes, -0.5),(self.onodes, self.hnodes))
        #初始化神经网络的学习率
        self.lr = learningrate
        #S函数
        self.activation_function = lambda x: scipy.special.expit(x)

        pass


    #训练神经网络
    def train(self, input_list, targets_list) :
        #将输入及目标输出转化为二维numpy数组
        inputs = numpy.array(input_list, ndmin=2).T
        targets = numpy.array(targets_list, ndmin=2).T
        #计算隐藏层输出，后者为前者输出后进行sigmoid函数计算后的结果
        hidden_inputs = numpy.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        #计算输出层输出
        final_inputs = numpy.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)
        #计算输出层输出
        output_errors = targets - final_outputs
        #计算隐藏层输出
        hidden_errors = numpy.dot(self.who.T, output_errors)
        #更新权重
        self.who += self.lr * numpy.dot((output_errors * final_outputs * (1.0 - final_outputs)), numpy.transpose(hidden_outputs))
        self.wih += self.lr * numpy.dot((hidden_errors * hidden_outputs * (1.0 - hidden_outputs)), numpy.transpose(inputs))

        pass

    #查询神经网络
    def query(self, inputs_list) :
        inputs = numpy.array(inputs_list, ndmin=2).T

        hidden_inputs = numpy.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)

        final_inputs = numpy.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)

        return final_outputs