马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。
您需要 登录 才可以下载或查看，没有账号？我要加入
x
基于C开发的三个隐层神经网络，输出权值、阈值文件，训练样本文件，提供如下函数：
1）初始化权、阈值子程序；
2）第m个学习样本输入子程序；
3）第m个样本教师信号子程序；
4）隐层各单元输入、输出值子程序；
5）输出层各单元输入、输出值子程序；
6）输出层至隐层的一般化误差子程序；
7）隐层至输入层的一般化误差子程序；
8）输出层至第三隐层的权值调整、输出层阈值调整计算子程序；
9）第三隐层至第二隐层的权值调整、第三隐层阈值调整计算子程序；
10）第二隐层至第一隐层的权值调整、第二隐层阈值调整计算子程序；
11）第一隐层至输入层的权值调整、第一隐层阈值调整计算子程序；
12）N个样本的全局误差计算子程序。
- #include "iostream.h"
- #include "iomanip.h"
- #include "stdlib.h"
- #include "math.h"
- #include "stdio.h"
- #include "time.h"
- #include "fstream.h"
- #define N 11 //学习样本个数
- #define IN 5 //输入层神经元数目
- #define HN 8 //隐层神经元数目
- #define HC 3 //隐层层数
- #define ON 3 //输出层神经元数目
- #define Z 200000 //旧权值保存-》每次study的权值都保存下来
- double P[IN]; //单个样本输入数据
- double T[ON]; //单个样本教师数据
- double U11[HN][IN]; //输入层至第一隐层权值
- double U12[HN][HN]; //第一隐层至第二隐层权值
- double U23[HN][HN]; //第二隐层至第三隐层权值
- double V[ON][HN]; //第三隐层至输出层权值
- double X1[HN]; //第一隐层的输入
- double X2[HN]; //第二隐层的输入
- double X3[HN]; //第三隐层的输入
- double Y[ON]; //输出层的输入
- double H1[HN]; //第一隐层的输出
- double H2[HN]; //第二隐层的输出
- double H3[HN]; //第三隐层的输出
- double O[ON]; //输出层的输出
- double YU_HN1[HN]; //第一隐层的阈值
- double YU_HN2[HN]; //第二隐层的阈值
- double YU_HN3[HN]; //第三隐层的阈值
- double YU_ON[ON]; //输出层的阈值
- double err_m[N]; //第m个样本的总误差
- double a; //学习效率
- double alpha; //动量因子
- //定义一个放学习样本的结构
- struct {
- double input[IN]; //输入在上面定义是五个
- double teach[ON]; //输出在上面定义是三个
- }Study_Data[N];//学习样本
- //bp算法用来保存每次计算的权值
- struct {
- double old_U11[HN][IN]; //保存输入层至隐层权值旧权
- double old_U12[HN][HN]; //保存第一隐层至第二隐层权值
- double old_U23[HN][HN]; //保存第二隐层至第三隐层权值
- double old_V[ON][HN]; //保存第三隐层至输出层旧权
- }Old_WV[Z];
-
- saveWV(int m)
- {
- for(int i=0;i<HN;i++)
- {
- for(int j=0;j<IN;j++)
- {
- Old_WV[m].old_U11[i][j] = U11[i][j];
- }
- }
- for(int i1=0;i1<HN;i1++)
- {
- for(int j1=0;j1<HN;j1++)
- {
- Old_WV[m].old_U12[i1][j1] = U12[i1][j1];
- }
- }
- for(int i2=0;i2<HN;i2++)
- {
- for(int j2=0;j2<HN;j2++)
- {
- Old_WV[m].old_U23[i2][j2] = U23[i2][j2];
- }
- }
- for(int i3=0;i3<ON;i3++)
- {
- for(int j3=0;j3<HN;j3++)
- {
- Old_WV[m].old_V[i3][j3] = V[i3][j3];
- }
- }
- return 1;
- }
- ///////////////////////////
- //初始化权、阈值子程序/////
- ///////////////////////////
- initial()
- {
- //隐层权、阈值初始化//
- srand( (unsigned)time( NULL ) );
- for(int i=0;i<HN;i++)
- {
- for(int j=0;j<IN;j++)
- U11[i][j]= (double)((rand()/32767.0)*2-1); //初始化输入层到第一隐层的权值，随机模拟0 和 1 -1
- }
- for(int i1=0;i1<HN;i1++)
- {
- for(int j1=0;j1<HN;j1++)
- U12[i1][j1]= (double)((rand()/32767.0)*2-1); //初始化第一隐层到第二隐层权值，随机模拟0 和 1 -1
- }
- for(int i2=0;i2<HN;i2++)
- {
- for(int j2=0;j2<HN;j2++)
- U23[i2][j2]= (double)((rand()/32767.0)*2-1); //初始化第二隐层到第三隐层权值，随机模拟0 和 1 -1
- }
- for(int i3=0;i3<ON;i3++)
- {
- for(int j3=0;j3<HN;j3++)
- V[i3][j3]= (double)((rand()/32767.0)*2-1); //初始化隐层到输出层的权值，随机模拟0 和 1 -1
- }
- for(int k=0;k<HN;k++)
- {
- YU_HN1[k] = (double)((rand()/32767.0)*2-1); //第一隐层阈值初始化 ,-0.01 ~ 0.01 之间
- }
- for(int k1=0;k1<HN;k1++)
- {
- YU_HN2[k] = (double)((rand()/32767.0)*2-1); //第二隐层阈值初始化 ,-0.01 ~ 0.01 之间
- }
- for(int k2=0;k2<HN;k2++)
- {
- YU_HN3[k] = (double)((rand()/32767.0)*2-1); //第三隐层阈值初始化 ,-0.01 ~ 0.01 之间
- }
- for(int kk=0;kk<ON;kk++)
- {
- YU_ON[kk] = (double)((rand()/32767.0)*2-1); //输出层阈值初始化 ,-0.01 ~ 0.01 之间
- }
- return 1;
- }//子程序initial()结束
- ////////////////////////////////
- ////第m个学习样本输入子程序///
- ///////////////////////////////
- input_P(int m)
- {
- for (int i=0;i<IN;i++)
- P[i]=Study_Data[m].input[i];
- //获得第m个样本的数据
- return 1;
- }//子程序input_P(m）结束
- /////////////////////////////
- ////第m个样本教师信号子程序//
- /////////////////////////////
- input_T(int m)
- {
- for (int k=0;k<ON;k++)
- T[k]=Study_Data[m].teach[k];
- return 1;
- }//子程序input_T(m)结束
- /////////////////////////////////
- //隐层各单元输入、输出值子程序///
- /////////////////////////////////
- H_I_O()
- {
- double sigma1,sigma2,sigma3;
- int i,i1,i2,j,j1,j2;
- for (j=0;j<HN;j++)
- {
- sigma1=0.0;
- for (i=0;i<IN;i++)
- sigma1+=U11[j][i]*P[i];//求第一隐层内积
-
- X1[j]=sigma1 - YU_HN1[j];//求第一隐层净输入
- H1[j]=1.0/(1.0+exp(-X1[j]));//求第一隐层输出sigmoid算法
- }
- for (j1=0;j1<HN;j1++)
- {
- sigma2=0.0;
- for (i1=0;i1<HN;i1++)
- sigma2+=U12[j1][i1]*H1[i];//求第二隐层内积
-
- X2[j]=sigma2 - YU_HN2[j];//求第二隐层净输入
- H2[j]=1.0/(1.0+exp(-X2[j]));//求第二隐层输出sigmoid算法
- }
- for (j2=0;j2<HN;j2++)
- {
- sigma3=0.0;
- for (i2=0;i2<HN;i2++)
- sigma3+=U23[j2][i2]*H2[i];//求第三隐层内积
-
- X3[j]=sigma3 - YU_HN3[j];//求第三隐层净输入
- H3[j]=1.0/(1.0+exp(-X3[j]));//求第三隐层输出sigmoid算法
- }
- return 1;
- }//子程序H_I_O()结束
- ///////////////////////////////////
- //输出层各单元输入、输出值子程序///
- ///////////////////////////////////
- O_I_O()
- {
- double sigma;
- for (int k=0;k<ON;k++)
- {
- sigma=0.0;
- for (int j=0;j<HN;j++)
- {
- sigma+=V[k][j]*H3[k];//求输出层内积
- }
- Y[k]=sigma-YU_ON[k]; //求输出层净输入
- O[k]=1.0/(1.0+exp(-Y[k]));//求输出层输出
- }
- return 1;
- }//子程序O_I_O()结束
- ////////////////////////////////////
- //输出层至隐层的一般化误差子程序////
- ////////////////////////////////////
- double d_err[ON];
- Err_O_H(int m)
- {
- double abs_err[ON];//每个样本的绝对误差都是从0开始的
- double sqr_err=0;//每个样本的平方误差计算都是从0开始的
- for (int k=0;k<ON;k++)
- {
- abs_err[k]=T[k]-O[k];
- //求第m个样本下的第k个神经元的绝对误差
- sqr_err+=(abs_err[k])*(abs_err[k]);//求第m个样本下输出层的平方误差
- d_err[k]=abs_err[k]*O[k]*(1.0-O[k]);//d_err[k]输出层各神经元的一般化误差
- }
- err_m[m]=sqr_err/2;//第m个样本下输出层的平方误差/2=第m个样本的均方误差
- return 1;
- }//子程序Err_O_H(m)结束
- ////////////////////////////////////
- //隐层至输入层的一般化误差子程序////
- ////////////////////////////////////
- double e_err3[HN];//定义第三隐层各神经元的一般化误差
- double e_err2[HN];//定义第二隐层各神经元的一般化误差
- double e_err1[HN];//定义第一隐层各神经元的一般化误差
- Err_H_I()
- {
- double sigma3,sigma2,sigma1;
- for (int j3=0;j3<HN;j3++)
- {
- sigma3=0.0;
- for (int k3=0;k3<ON;k3++)
- {
- sigma3=d_err[k3]*V[k3][j3];
- }
- e_err3[j3]=sigma3*H3[j3]*(1-H3[j3]);//第三隐层各神经元的一般化误差
- }
- for (int j2=0;j2<HN;j2++)
- {
- sigma2=0.0;
- for (int k2=0;k2<HN;k2++)
- {
- sigma2=d_err[k2]*V[k2][j2];
- }
- e_err2[j2]=sigma2*H2[j2]*(1-H2[j2]);//第二隐层各神经元的一般化误差
- }
- for (int j1=0;j1<HN;j1++)
- {
- sigma1=0.0;
- for (int k1=0;k1<HN;k1++)
- {
- sigma1=d_err[k1]*V[k1][j1];
- }
- e_err1[j1]=sigma1*H1[j1]*(1-H1[j1]);//第一隐层各神经元的一般化误差
- }
- return 1;
- }//子程序Err_H_I()结束
- ////////////////////////////////////////////////////////
- //输出层至第三隐层的权值调整、输出层阈值调整计算子程序//////
- ////////////////////////////////////////////////////////
- Delta_O_H3(int m,int n)
- {
- if(n<=1)
- {
- for (int k=0;k<ON;k++)
- {
- for (int j=0;j<HN;j++)
- {
- V[k][j]=V[k][j]-a*d_err[k]*H3[j];//输出层至第三隐层的权值调整
- }
- YU_ON[k]-=a*d_err[k];//输出层阈值调整
- }
- }
- else if(n>1)
- {
- for (int k=0;k<ON;k++)
- {
- for (int j=0;j<HN;j++)
- {
- V[k][j]=V[k][j]+a*d_err[k]*H3[j]+alpha*(V[k][j]-Old_WV[(n-1)].old_V[k][j]);//输出层至隐层的权值调整
- }
- YU_ON[k]-=a*d_err[k];//输出层至隐层的阈值调整
- }
- }
- return 1;
- }//子程序Delta_O_H3()结束
- ///////////////////////////////////////////////////////////////
- //第三隐层至第二隐层的权值调整、第三隐层阈值调整计算子程序/////
- ///////////////////////////////////////////////////////////////
- Delta_H3_H2(int m,int n)
- {
- if(n<=1)
- {
- for (int k=0;k<HN;k++)
- {
- for (int j=0;j<HN;j++)
- {
- U23[k][j]=U23[k][j]-a*e_err3[k]*H2[j];//第二隐层至第三隐层层的权值调整
- }
- YU_HN3[k]-=a*e_err3[k];//第三隐层阈值调整
- }
- }
- else if(n>1)
- {
- for (int k=0;k<HN;k++)
- {
- for (int j=0;j<HN;j++)
- {
- U23[k][j]=U23[k][j]+a*e_err3[k]*H2[j]+alpha*(U23[k][j]-Old_WV[(n-1)].old_U23[k][j]);//第二隐层至第三隐层层的权值调整
- }
- YU_HN3[k]-=a*e_err3[k];//第三隐层阈值调整
- }
- }
- return 1;
- }//子程序Delta_H3_H2()结束
- ///////////////////////////////////////////////////////////////
- //第二隐层至第一隐层的权值调整、第二隐层阈值调整计算子程序/////
- ///////////////////////////////////////////////////////////////
- Delta_H2_H1(int m,int n)
- {
- if(n<=1)
- {
- for (int k=0;k<HN;k++)
- {
- for (int j=0;j<HN;j++)
- {
- U12[k][j]=U12[k][j]-a*e_err2[k]*H1[j];//第一隐层至第二隐层层的权值调整
- }
- YU_HN2[k]-=a*e_err2[k];//第二隐层阈值调整
- }
- }
- else if(n>1)
- {
- for (int k=0;k<HN;k++)
- {
- for (int j=0;j<HN;j++)
- {
- U12[k][j]=U12[k][j]+a*e_err2[k]*H1[j]+alpha*(U12[k][j]-Old_WV[(n-1)].old_U12[k][j]);//第一隐层至第二隐层层的权值调整
- }
- YU_HN2[k]-=a*e_err2[k];//第二隐层阈值调整
- }
- }
- return 1;
- }//子程序Delta_H2_H1()结束
- /////////////////////////////////////////////////////////////
- //第一隐层至输入层的权值调整、第一隐层阈值调整计算子程序/////
- /////////////////////////////////////////////////////////////
- Delta_H1_I(int m,int n)
- {
- if(n<=1)
- {
- for (int j=0;j<HN;j++)
- {
- for (int i=0;i<IN;i++)
- {
- U11[j][i]=U11[j][i]+a*e_err1[j]*P[i];//第一隐层至输入层的权值调整
- }
- YU_HN1[j]+=a*e_err1[j];//第一隐层阈值调整
- }
- }
- else if(n>1)
- {
- for (int j=0;j<HN;j++)
- {
- for (int i=0;i<IN;i++)
- {
- U11[j][i]=U11[j][i]+a*e_err1[j]*P[i]+alpha*(U11[j][i]-Old_WV[(n-1)].old_U11[j][i]);//第一隐层至输入层的权值调整
- }
- YU_HN1[j]+=a*e_err1[j];//第一隐层阈值调整
- }
- }
- return 1;
- }//子程序Delta_H1_I()结束
- /////////////////////////////////
- //N个样本的全局误差计算子程序////
- /////////////////////////////////
- double Err_Sum()
- {
- double total_err=0;
- for (int m=0;m<N;m++)
- {
- total_err+=err_m[m];//每个样本的均方误差加起来就成了全局误差
- }
- return total_err;
- }//子程序Err_sum()结束
- GetTrainingData()
- {
- ifstream GetTrainingData ( "训练样本.txt", ios::in );
- for(int m=0;m<N;m++)
- {
- for(int i=0;i<IN;i++)
- {
- GetTrainingData>>Study_Data[m].input[i]; //取得输入数据
- }
- for(int j=0;j<ON;j++)
- {
- GetTrainingData>>Study_Data[m].teach[j]; //取得输出数据
- }
- }
- GetTrainingData.close();
- return 1;
- }
- void savequan()
- {
- ofstream outQuanFile( "权值.txt", ios::out );
- ofstream outYuFile( "阈值.txt", ios::out );
- outQuanFile<<"A\n";
- for(int i=0;i<HN;i++)
- {
- for(int j=0;j<IN;j++)
- {
- outQuanFile<<U11[i][j]<<" ";
- }
- outQuanFile<<"\n";
- }//取得输入层至第一隐层权值
- outQuanFile<<"B\n";
- for(int i1=0;i1<HN;i1++)
- {
- for(int j1=0;j1<HN;j1++)
- {
- outQuanFile<<U12[i1][j1]<<" ";
- }
- outQuanFile<<"\n";
- }//取得第一隐层至第二隐层权值
- outQuanFile<<"C\n";
- for(int i2=0;i2<HN;i2++)
- {
- for(int j2=0;j2<HN;j2++)
- {
- outQuanFile<<U23[i2][j2]<<" ";
- }
- outQuanFile<<"\n";
- }//取得第二隐层至第三隐层权值
- outQuanFile<<"D\n";
- for(int i3=0;i3<ON;i3++)
- {
- for(int j3=0;j3<HN;j3++)
- {
- outQuanFile<<V[i3][j3]<<" ";
- }
- outQuanFile<<"\n";
- }//取得第三隐层至输出层权值
- outYuFile<<"\n第一隐层的阈值为:\n";
- for(int k1=0;k1<HN;k1++)
- {
- outYuFile<<YU_HN1[k1]<<" "; //隐层阈值写入文本
- }
- outYuFile<<"\n第二隐层的阈值为:\n";
- for(int k2=0;k2<HN;k2++)
- {
- outYuFile<<YU_HN2[k2]<<" "; //隐层阈值写入文本
- }
- outYuFile<<"\n第三隐层的阈值为:\n";
- for(int k3=0;k3<HN;k3++)
- {
- outYuFile<<YU_HN3[k3]<<" "; //隐层阈值写入文本
- }
- outYuFile<<"输出层的阈值为:\n";
- for(int k=0;k<ON;k++)
- {
- outYuFile<<YU_ON[k]<<" "; //输出层阈值写入文本
- }
- outQuanFile.close();
- }
- /**********************/
- /**程序入口，即主程序**/
- /**********************/
- void main()
- {
- double sum_err;
- int study;//训练次数
- double a = 0.6;//学习速率，即步长
- double alpha = 0.8; //动量因子
- study=0; //学习次数
- double Pre_error ; //预定误差
- Pre_error = 0.0001;
- int Pre_times;
- Pre_times = 200;
- GetTrainingData();//输入样本 (1)
- initial(); //隐层、输出层权、阈值初始化 (2)
- do
- {
- ++study;
- for (int m=0;m<N;m++)
- {
- input_P(m); //输入第m个学习样本
- input_T(m);//输入第m个样本的教师信号
- H_I_O(); //第m个学习样本隐层各神经元输入、输出值
- O_I_O(); //第m个学习样本输出层各神经元输入、输出值 (3)
- Err_O_H(m); //第m个学习样本输出层至隐层一般化误差
- Err_H_I(); //第m个学习样本隐层至输入层一般化误差 (4)
- Delta_O_H3(m,study); //第m个学习样本输出层至第三隐层权值、阈值调整、修改
- Delta_H3_H2(m,study); //第m个学习样本第三隐层至第二隐层的权值、阈值调整、修改
- Delta_H2_H1(m,study); //第m个学习样本第二隐层至第一隐层的权值、阈值调整、修改
- Delta_H1_I(m,study); //第m个学习样本第一隐层至输入层的权值、阈值调整、修改 (5)
- } //全部样本训练完毕
- sum_err=Err_Sum(); //全部样本全局误差计算
- saveWV(study); //把本次的学习权值全保存到数组
- cout<<"第"<<study<<"次学习的均方误差为"<<sum_err<<endl;
- }while (sum_err > Pre_error); // (6)
- cout<<"网络已经学习了"<<study<<"次,学习的均方误差为"<<sum_err<<endl;
- savequan();
- }
[ 本帖最后由 风花雪月 于 2006-10-12 09:54 编辑 ] |
发表于 2005-9-29 08:47
提升卡
变色卡
显身卡
