TensorFlow学习报告

TensorFlow的几个关键词：

图（graph）：来表示计算任务。

会话、张量（tensor）：在被称之为会话（Session）的上下文（context）中执行图，Tensor意味着N维数组。

变量（Variable）、feed、fetch：通过Variable维护状态，用feed和fetch可以为任意操作赋值或者从中获取数据。

Variable用来维护图执行过程中的状态信息，例如在神经网络总用于保存和更新神经网络上的参数。

Feed主要用于临时替换一个操作的输出结果，我们可以提供feed数据作为run()函数调用的参数，feed只在方法内有效，结束后feed就会消失，常见的一种形式是我们用tf.placeholder()来创建占位符，方便于feed在run()内的赋值。

 

TensorFlowd的四个特性：灵活性、可移植性、多语言支持、高效性。

 

Graph:要组装的结构,由许多操作组成,其中的每个连接点代表一种操作。

op:接受（流入）零个或多个输入（液体），返回（流出）零个或多个输出。

Tensorflow中用图来表示计算任务，图中的每个节点叫op，在计算图的时候为了能够进行计算，必须在session中启动图，session会将图上的op分配到CPU、GPU等设备上（我们无需具体的定义使用CPU还是GPU，如果检测到GPU，TensorFlow会用检测到的第一个GPU来执行），同时提供执行op的方法，执行完成后再将op返回。

 

实验：

# TensorFlow and tf.keras
import tensorflow as tf
from tensorflow import keras

# Helper libraries
import numpy as np
import matplotlib.pyplot as plt

print(tf.__version__)

 

fashion_mnist = keras.datasets.fashion_mnist

(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

 

class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

 

train_images.shape

len(train_labels)

train_labels

test_images.shape

len(test_labels)

plt.figure()
plt.imshow(train_images[11])
plt.colorbar()
plt.grid(False)
plt.show()

 

 

 

train_images = train_images / 255.0

test_images = test_images / 255.0

 

plt.figure(figsize=(10,10))
for i in range(9):
plt.subplot(3,3,i+1)
plt.xticks([])
plt.yticks([])
plt.grid(False)
plt.imshow(train_images[i], cmap=plt.cm.binary)
plt.xlabel(class_names[train_labels[i]])
plt.show()

 

 

 

model = keras.Sequential([
keras.layers.Flatten(input_shape=(28, 28)),
keras.layers.Dense(128, activation='relu'),
keras.layers.Dense(10)
])

 

model.compile(optimizer='adam',
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=20)

test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)

print('\nTest accuracy:', test_acc)

probability_model = tf.keras.Sequential([model,
tf.keras.layers.Softmax()])

predictions = probability_model.predict(test_images)

predictions[0]

np.argmax(predictions[0])

test_labels[0]

def plot_image(i, predictions_array, true_label, img):
predictions_array, true_label, img = predictions_array, true_label[i], img[i]
plt.grid(False)
plt.xticks([])
plt.yticks([])

plt.imshow(img, cmap=plt.cm.binary)

predicted_label = np.argmax(predictions_array)
if predicted_label == true_label:
color = 'blue'
else:
color = 'red'

plt.xlabel("{} {:2.0f}% ({})".format(class_names[predicted_label],
100*np.max(predictions_array),
class_names[true_label]),
color=color)

def plot_value_array(i, predictions_array, true_label):
predictions_array, true_label = predictions_array, true_label[i]
plt.grid(False)
plt.xticks(range(10))
plt.yticks([])
thisplot = plt.bar(range(10), predictions_array, color="#777777")
plt.ylim([0, 1])
predicted_label = np.argmax(predictions_array)

thisplot[predicted_label].set_color('red')
thisplot[true_label].set_color('blue')

 

i = 7
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i, predictions[i], test_labels, test_images)
plt.subplot(1,2,2)
plot_value_array(i, predictions[i], test_labels)
plt.show()

 

i = 11
plt.figure(figsize=(6,3))
plt.subplot(1,2,1)
plot_image(i, predictions[i], test_labels, test_images)
plt.subplot(1,2,2)
plot_value_array(i, predictions[i], test_labels)
plt.show()

 

 

 

# Plot the first X test images, their predicted labels, and the true labels.
# Color correct predictions in blue and incorrect predictions in red.
num_rows = 4
num_cols = 3
num_images = num_rows*num_cols
plt.figure(figsize=(2*2*num_cols, 2*num_rows))
for i in range(num_images):
plt.subplot(num_rows, 2*num_cols, 2*i+1)
plot_image(i, predictions[i], test_labels, test_images)
plt.subplot(num_rows, 2*num_cols, 2*i+2)
plot_value_array(i, predictions[i], test_labels)
plt.tight_layout()
plt.show()

 

 

 

# Grab an image from the test dataset.
img = test_images[1]

print(img.shape)

# Add the image to a batch where it's the only member.
img = (np.expand_dims(img,0))

print(img.shape)

#预测这个图像的正确标签
predictions_single = probability_model.predict(img)

print(predictions_single)

plot_value_array(1, predictions_single[0], test_labels)
_ = plt.xticks(range(10), class_names, rotation=37)

np.argmax(predictions_single[0])

 

 

 

课后习题：

 

1.

卷积中的局部连接：层间神经只有局部范围内的连接，在这个范围内采用全连接的方式，超过这个范围的神经元则没有连接；连接与连接之间独立参数，相比于去全连接减少了感受域外的连接，有效减少参数规模。

全连接：层间神经元完全连接，每个输出神经元可以获取到所有神经元的信息，有利于信息汇总，常置于网络末尾；连接与连接之间独立参数，大量的连接大大增加模型的参数规模。

区别在于层间神经是否完全连接。

 

2.

利用快速傅里叶变换把图片和卷积核变换到频域，频域把两者相乘，把结果利用傅里叶逆变换得到特征图。

 

3.

池化操作的作用：对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。

激活函数的作用：用来加入非线性因素的，解决线性模型所不能解决的问题。

 

4.

局部响应归一化的作用：消除数据之间的量纲差异，便于数据利用与快速计算。

 

5.

随机梯度下降算法的原理：

寻找损失函数的最低点，就像我们在山谷里行走，希望找到山谷里最低的地方。那么如何寻找损失函数的最低点呢？在这里，我们使用了微积分里导数，通过求出函数导数的值，从而找到函数下降的方向或者是最低点（极值点）。损失函数里一般有两种参数，一种是控制输入信号量的权重(Weight, 简称 ），另一种是调整函数与真实值距离的偏差（Bias，简称 ）。我们所要做的工作，就是通过梯度下降方法，不断地调整权重 和偏差b，使得损失函数的值变得越来越小。而随机梯度下降算法只随机抽取一个样本进行梯度计算。