Tensorflow之逻辑回归（基于MNIST数据集）

一、操作环境

tensorflow 1.13.0(建议使用1.几的版本 2.0很多地方都不兼容)

python 3.7.0（pycharm）

二、数据集的准备

将mnist数据集下载至指定目录位置

例：

 

 无需解压。

Tensorflow导入mnist代码：

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
import os
import matplotlib.pyplot as plt
os.environ["CUDA_VISIBLE_DEVICES"]="0"
#导入mnist数据集
MINIST_data=r'D:\mnist' #数据集存放位置
mnist=input_data.read_data_sets(MINIST_data,one_hot=True)
print("类型是 %s"%(type(mnist)))
print (" 训练数据有 %d" % (mnist.train.num_examples))
print (" 测试数据有 %d" % (mnist.test.num_examples))
trainimg   = mnist.train.images
trainlabel = mnist.train.labels
testimg    = mnist.test.images
testlabel  = mnist.test.labels
print (" 数据类型 is %s"    % (type(trainimg)))
print (" 标签类型 %s"  % (type(trainlabel)))
print (" 训练集的shape %s"   % (trainimg.shape,))
print (" 训练集的标签的shape %s" % (trainlabel.shape,))
print (" 测试集的shape' is %s"    % (testimg.shape,))
print (" 测试集的标签的shape %s"  % (testlabel.shape,))

运行结果：

 

数据集解释

Mnist数据集是来自美国国家标准与技术研究所, National Institute of Standards and Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50% 是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(test set) 也是同样比例的手写数字数据。

分为训练数据（train）和测试数据（test），训练集和测试集分别对应相应的lable（标签）

训练集的shape为（55000，784）,55000是指有55000行图像，784=28*28理解为这些图像的长和宽，每张图由784个像素点组成。训练集的标签的shape是(55000, 10)，55000还是指有55000张图像，10是指有10类标签，0到9一共是10个数据。每张图都会对应着这十类标签。

例如：这张图片为显示的数字为2 那么其对应的标签则是[0,0,1,0,0,0,0,0,0,0],同理若对应为8，则[0,0,0,0,0,0,0,0,1,0]

下面让我们来看一下图像具体样子

代码：

nsample=5
#随机挑选5张图
randidx = np.random.randint(trainimg.shape[0], size=nsample)
#遍历
for i in randidx:
    curr_img=np.reshape(trainimg[i,:],(28,28))
    curr_lable=np.argmax(trainlabel[i,:])
    plt.matshow(curr_img,cmap=plt.get_cmap('gray'))
    print(""+str(i)+"th 训练数据"+"标签是"+str(curr_lable))
plt.show()

运行结果：

 

 至此，对于MNIST数据集的理解也应该十分清楚了。

三、利用MNIST进行逻辑回归训练

完整代码如下：

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
import os
import matplotlib.pyplot as plt
os.environ["CUDA_VISIBLE_DEVICES"]="0"
#导入mnist数据集
MINIST_data=r'D:\mnist' #数据集存放位置
mnist=input_data.read_data_sets(MINIST_data,one_hot=True)

#设置训练参数
learning_rate=0.01  #学习率
training_epochs=25 #跑完全部样本集的次数
batch_size=100 #定义批量梯度下降次数，每100张图计算一次
display_step=1
#构造计算图，使用占位符placeholder函数构造变量x，y，
x=tf.placeholder(tf.float32,[None,784])
y=tf.placeholder(tf.float32,[None,10])
#使用Variable函数，设置模型的初始权重
W=tf.Variable(tf.zeros([784,10]))
b=tf.Variable(tf.zeros([10]))
#构造逻辑回归模型
#返回一个10维矩阵，[None,784]*[784,10]=[None,10]
pred=tf.nn.softmax(tf.matmul(x,W)+b)
#构造代价函数cost
#-y*tf.log(pred)：交叉熵代价函数
#reduce_sum() 求和
#reduce_mean() 求平均值，返回数字
cost=tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),reduction_indices=1))
#使用梯度下降法求最小值，即最优解
optimizer=tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
#初始化全部变量
init=tf.global_variables_initializer()
#使用tf.Session()创建Session会话对象，会话封装了Tensorflow运行时的状态和控制。
with tf.Session() as sess:
    sess.run(init)
    #跑总样本25次
    for epochs in range(training_epochs):
        avg_cost=0 #记录训练集误差
        total_batch=int(mnist.train.num_examples/batch_size)#一次训练一百，总数除以100
        for i in range(total_batch):
            # 每次训练取100张图片（随机取一个batch_size）
            batch_xs,batch_ys=mnist.train.next_batch(batch_size)
            #返回一个[optimizer,cost]的list
            _,c=sess.run([optimizer,cost],feed_dict={x:batch_xs,y:batch_ys})
            #返回训练100张图产生的训练误差
            avg_cost+=c/total_batch
        #打印每次迭代产生的误差
        if (epochs+1)%display_step==0:
            print("Epoch :", "%04d" % (epochs + 1), "Train_cost", "{:9f}".format(avg_cost))
    print("Optimization finished!")
    #argmax返回数组中最大元素的位置 0代表按列算，1代表按行算
    #tf.equal() 返回布尔值，判断对应元素是否相等，相等返回1，否则返回0
    correct_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))

    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    print("Accuracy:", accuracy.eval({x: mnist.test.images[:3000], y: mnist.test.labels[:3000]}))

至于其中诸多函数用法，自行百度了解即可。

这里解释一下 我认为必要数据的含义

x（图片特征值）：x=tf.placeholder(tf.float32,[None,784]) 此代码将图片表示为若干行，784列的数组。

w（特征值对应的权重）：一开始这个值是随即设置，随着我们的不断训练得到最佳的权重

y（正确的结果）：此结果来自MNIST标签训练集，此数据用于与我们机器学习预测的结果相比较，看是否预测正确，同时计算准确率

pred：机器学习预测的结果。

training_epochs：指的是遍历全部样本集的次数

batch_size：我们需要分好几次来遍历完全样本集，batch_size指的是每次分步提取出数据集的数量，例如样本集有5000个，batch_size=100时代表每次需分析100张图片，共迭代50次全部完成。

四、进一步分析预测结果

我们可以通过写代码来了解机器学习在哪出现了错误。

以下为代码：

print("VVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVV")
    for i in range(0, len(mnist.test.images)):
        result = sess.run(correct_prediction,feed_dict={x: np.array([mnist.test.images[i]]), y: np.array([mnist.test.labels[i]])})
        if not result:
            print('预测的值是：',
                  sess.run(pred, feed_dict={x: np.array([mnist.test.images[i]]), y: np.array([mnist.test.labels[i]])}))
            print('实际的值是：',
                  sess.run(y, feed_dict={x: np.array([mnist.test.images[i]]), y: np.array([mnist.test.labels[i]])}))
            one_pic_arr = np.reshape(mnist.test.images[i], (28, 28))
            pic_matrix = np.matrix(one_pic_arr, dtype="float")
            plt.imshow(pic_matrix)
            plt.show()
            break

我们来判断图片与测试是否正确，是通过比较pred（预测值）与y（真实数据）中最大数据（即为1）的位置来判断（参考argmax（）函数用法），若位置相同，则返回true，位置不同，则返回false。利用这个原理可以写if语句，遇到错误，break循环，并打印出错的图片。

运行截图：

 

 我们可以看到预测值中最大数值位置为6 预测图片数字为6 ，但真实数据为5.

打印图片为：

 

 最后的最后附上全部完整代码：

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
import os
import matplotlib.pyplot as plt
os.environ["CUDA_VISIBLE_DEVICES"]="0"
#导入mnist数据集
MINIST_data=r'D:\mnist' #数据集存放位置
mnist=input_data.read_data_sets(MINIST_data,one_hot=True)

#设置训练参数
learning_rate=0.01  #学习率
training_epochs=25 #跑完全部样本集的次数
batch_size=100 #定义批量梯度下降次数，每100张图计算一次
display_step=1
#构造计算图，使用占位符placeholder函数构造变量x，y，
x=tf.placeholder(tf.float32,[None,784])
y=tf.placeholder(tf.float32,[None,10])
#使用Variable函数，设置模型的初始权重
W=tf.Variable(tf.zeros([784,10]))
b=tf.Variable(tf.zeros([10]))
#构造逻辑回归模型
#返回一个10维矩阵，[None,784]*[784,10]=[None,10]
pred=tf.nn.softmax(tf.matmul(x,W)+b)
#构造代价函数cost
#-y*tf.log(pred)：交叉熵代价函数
#reduce_sum() 求和
#reduce_mean() 求平均值，返回数字
cost=tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),reduction_indices=1))
#使用梯度下降法求最小值，即最优解
optimizer=tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)
#初始化全部变量
init=tf.global_variables_initializer()
#使用tf.Session()创建Session会话对象，会话封装了Tensorflow运行时的状态和控制。
with tf.Session() as sess:
    sess.run(init)
    #跑总样本25次
    for epochs in range(training_epochs):
        avg_cost=0 #记录训练集误差
        total_batch=int(mnist.train.num_examples/batch_size)#一次训练一百，总数除以100
        for i in range(total_batch):
            # 每次训练取100张图片（随机取一个batch_size）
            batch_xs,batch_ys=mnist.train.next_batch(batch_size)
            #返回一个[optimizer,cost]的list
            _,c=sess.run([optimizer,cost],feed_dict={x:batch_xs,y:batch_ys})
            #返回训练100张图产生的训练误差
            avg_cost+=c/total_batch
        #打印每次迭代产生的误差
        if (epochs+1)%display_step==0:
            print("Epoch :", "%04d" % (epochs + 1), "Train_cost", "{:9f}".format(avg_cost))
    print("Optimization finished!")
    #argmax返回数组中最大元素的位置 0代表按列算，1代表按行算
    #tf.equal() 返回布尔值，判断对应元素是否相等，相等返回1，否则返回0
    correct_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, 1))

    accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
    print("Accuracy:", accuracy.eval({x: mnist.test.images[:3000], y: mnist.test.labels[:3000]}))
    print("VVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVVV")
    for i in range(0, len(mnist.test.images)):
        result = sess.run(correct_prediction,feed_dict={x: np.array([mnist.test.images[i]]), y: np.array([mnist.test.labels[i]])})
        if not result:
            print('预测的值是：',
                  sess.run(pred, feed_dict={x: np.array([mnist.test.images[i]]), y: np.array([mnist.test.labels[i]])}))
            print('实际的值是：',
                  sess.run(y, feed_dict={x: np.array([mnist.test.images[i]]), y: np.array([mnist.test.labels[i]])}))
            one_pic_arr = np.reshape(mnist.test.images[i], (28, 28))
            pic_matrix = np.matrix(one_pic_arr, dtype="float")
            plt.imshow(pic_matrix)
            plt.show()
            break

 

五、感谢

https://www.cnblogs.com/lizheng114/p/7439556.html

https://www.lizenghai.com/archives/47834.html#121_tensorflow（解释十分全面）