人工神经网络入门（3） —— 多层人工神经网络应用示例

范例程序下载：http://files.cnblogs.com/gpcuster/ANN2.rar
如果您有疑问，可以先参考 FAQ
如果您未找到满意的答案，可以在下面留言：）

1 介绍
求异或（XOR）操作是计算机中常用到的一种计算：
0 XOR 0 = 0
0 XOR 1 = 1
1 XOR 0 = 1
1 XOR 1 = 0
我们可以使用第一篇文章中的代码来计算这个结果http://files.cnblogs.com/gpcuster/ANN1.rar（需要修改其中的训练集），可以发现学习后的结果不能让我们满意，原因是单层神经网络学习能力有限，需要使用更加复杂的网络来学习。
在这一篇文章中，我们将使用一个新的多层神经网络来学习。

2 范例程序的使用和说明
该程序的使用说明和人工神经网络入门（1） —— 单层人工神经网络应用示例类似，可以参考http://www.cnblogs.com/gpcuster/archive/2008/05/22/1204456.html
但是多了一个计算操作（XOR），如图：

3 网络结构
该多层神经网络在单层神经网络的基础上增加了一层“隐藏层”（Hidden）

4 学习算法
基本的原理就是用实际网络计算出来的值和期望的值进行比较，然后来调整自己的权值。
        /// <summary>
        /// 根据期望的输出和实际的输出来调整权值
        /// </summary>
        /// <param name="targOut">期望的输出</param>
        private void train_network(double[] outputs)
        {
            //get momentum values (delta values from last pass)
            double[] delta_hidden = new double[_nn.NumberOfHidden + 1];
            double[] delta_outputs = new double[_nn.NumberOfOutputs];

            // Get the delta value for the output layer
            for (int i = 0; i < _nn.NumberOfOutputs; i++)
            {
                delta_outputs[i] =
                    _nn.Outputs[i] * (1.0 - _nn.Outputs[i]) * (outputs[i] - _nn.Outputs[i]);
            }

            // Get the delta value for the hidden layer
            for (int i = 0; i < _nn.NumberOfHidden + 1; i++)
            {
                double error = 0.0;
                for (int j = 0; j < _nn.NumberOfOutputs; j++)
                {
                    error += _nn.HiddenToOutputWeights[i, j] * delta_outputs[j];
                }
                delta_hidden[i] = _nn.Hidden[i] * (1.0 - _nn.Hidden[i]) * error;
            }
            // Now update the weights between hidden & output layer
            for (int i = 0; i < _nn.NumberOfOutputs; i++)
            {
                for (int j = 0; j < _nn.NumberOfHidden + 1; j++)
                {
                    //use momentum (delta values from last pass), 
                    //to ensure moved in correct direction
                    _nn.HiddenToOutputWeights[j, i] += _nn.LearningRate * delta_outputs[i] * _nn.Hidden[j];
                }
            }
            // Now update the weights between input & hidden layer
            for (int i = 0; i < _nn.NumberOfHidden; i++)
            {
                for (int j = 0; j < _nn.NumberOfInputs + 1; j++)
                {
                    //use momentum (delta values from last pass), 
                    //to ensure moved in correct direction
                    _nn.InputToHiddenWeights[j, i] += _nn.LearningRate * delta_hidden[i] * _nn.Inputs[j];
                }
            }
        }

5 预告
在下一篇文章中，我将介绍一个C#实现的ANN框架：）

6 总结
这个多层神经网络也可以准确地计算AND和OR运算，但是精确度却比不上第一个例子。
不同的网络对不同的情况都有不同的适应程度，这就需要深层的理论支持了，也不是我能为大家解决的啦：（
posted @ 2008-06-22 20:15 逖靖寒 阅读(2229) 评论(9)  编辑 收藏 所属分类: .NET 编程 、算法

  回复  引用  查看    
#1楼 2008-06-22 21:44 | aspnetx      
我能否问一下,楼主所说的神经网络与数据挖掘中所提到的神经网络是不是一回事呢?
呵呵,数据挖掘中神经网络方法一直是我无法理解的一个算法之一.
  回复  引用  查看    
#2楼 [楼主]2008-06-22 21:52 | 逖靖寒      
@aspnetx
不好意思，我对DM不太了解，不能给您一个准确的回答。
但是数据挖掘中所提到的神经网络也是一种基于现有数据的潜在规律的学习，所以说，学习的本质应该是相同的，但是具体的学习形式和方法应该会有不同。
  回复  引用  查看    
#3楼 [楼主]2008-06-23 07:36 | 逖靖寒      
@lazylu
我就是要学习ANN，如果用Matlab了，还能了解其中的原理吗？
  回复  引用  查看    
#4楼 2008-06-23 08:44 | U2U      
这个系列的文章不错的
  回复  引用  查看    
#5楼 2008-06-23 09:11 | 暗香浮动      
这个适合那些领域，或者说有什么用处呢。
  回复  引用  查看    
#6楼 [楼主]2008-06-23 10:29 | 逖靖寒      
@U2U
呵呵，谢谢夸奖。
  回复  引用  查看    
#7楼 [楼主]2008-06-23 10:30 | 逖靖寒      
@暗香浮动
主要还是在人工智能这块应用很多。
在BI方面应该也有应用。
  回复  引用  查看    
#8楼 2008-06-25 00:35 | 簡簡單單..      
继续关注..
  回复  引用  查看    
#9楼 2008-07-10 19:45 | orchidsure      
不错，如果真要理解ANN的原理，还得自己去实现，用matlab只是使用软件而已，很不灵活的。希望多多交流啊

标题  
姓名  
主页
Email (只有博主才能看到) 
验证码 *  看不清,换一张 [登录][注册]
内容(请不要发表任何与政治相关的内容)  
  登录  使用高级评论  新用户注册  返回页首  恢复上次提交      
该文被作者在 2008-06-23 07:57 编辑过


相关链接:

历史上的今天:
2007-06-22 今天参加了中国第五届软交会

最新IT新闻:
淘宝网合并阿里妈妈 专家称阿里巴巴或有新战略
微软研究院发布 AutoCollage - 整理并融合照片
2008年9月5日科技博客精选
SNS网站风靡影响工作效率 公司下令封杀
《孢子》正式发布
博客园新闻频道  博客园首页  社区