1.cnn
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms
# 设置随机数种子
torch.manual_seed(0)
# 超参数
EPOCH = 1 # 训练整批数据的次数
BATCH_SIZE = 50
DOWNLOAD_MNIST = False # 表示还没有下载数据集,如果数据集下载好了就写False
# 加载 MNIST 数据集
train_dataset = datasets.MNIST(
root="./mnist",
train=True,#True表示是训练集
transform=transforms.ToTensor(),
download=False)
test_dataset = datasets.MNIST(
root="./mnist",
train=False,#Flase表示测试集
transform=transforms.ToTensor(),
download=False)
# 将数据集放入 DataLoader 中
train_loader = torch.utils.data.DataLoader(
dataset=train_dataset,
batch_size=100,#每个批次读取的数据样本数
shuffle=True)#是否将数据打乱,在这种情况下为True,表示每次读取的数据是随机的
test_loader = torch.utils.data.DataLoader(dataset=test_dataset, batch_size=100, shuffle=False)
# 为了节约时间, 我们测试时只测试前2000个
test_x = torch.unsqueeze(test_dataset.test_data, dim=1).type(torch.FloatTensor)[
:2000] / 255. # shape from (2000, 28, 28) to (2000, 1, 28, 28), value in range(0,1)
test_y = test_dataset.test_labels[:2000]
# 定义卷积神经网络模型
class CNN(nn.Module):
def __init__(self):
super(CNN, self).__init__()
self.conv1 = nn.Conv2d(#输入图像的大小为(28,28,1)
in_channels=1,#当前输入特征图的个数
out_channels=32,#输出特征图的个数
kernel_size=3,#卷积核大小,在一个3*3空间里对当前输入的特征图像进行特征提取
stride=1,#步长:卷积窗口每隔一个单位滑动一次
padding=1)#如果希望卷积后大小跟原来一样,需要设置padding=(kernel_size-1)/2
#第一层结束后图像大小为(28,28,32)32是输出图像个数,28计算方法为(h-k+2p)/s+1=(28-3+2*1)/1 +1=28
self.pool = nn.MaxPool2d(kernel_size=2, stride=2)#可以缩小输入图像的尺寸,同时也可以防止过拟合
#通过池化层之后图像大小变为(14,14,32)
self.conv2 = nn.Conv2d(#输入图像大小为(14,14,32)
in_channels=32,#第一层的输出特征图的个数当做第二层的输入特征图的个数
out_channels=64,
kernel_size=3,
stride=1,
padding=1)#二层卷积之后图像大小为(14,14,64)
self.fc = nn.Linear(64 * 7 * 7, 10)#10表示最终输出的
# 下面定义x的传播路线
def forward(self, x):
x = self.pool(F.relu(self.conv1(x)))# x先通过conv1
x = self.pool(F.relu(self.conv2(x)))# 再通过conv2
x = x.view(-1, 64 * 7 * 7)
x = self.fc(x)
return x
# 实例化卷积神经网络模型
model = CNN()
# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
#lr(学习率)是控制每次更新的参数的大小的超参数
optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
# 训练模型
for epoch in range(1):
for i, (images, labels) in enumerate(train_loader):
outputs = model(images) # 先将数据放到cnn中计算output
loss = criterion(outputs, labels)# 输出和真实标签的loss,二者位置不可颠倒
optimizer.zero_grad()# 清除之前学到的梯度的参数
loss.backward() # 反向传播,计算梯度
optimizer.step()#应用梯度
if i % 50 == 0:
data_all = model(test_x)#不分开写就会出现ValueError: too many values to unpack (expected 2)
last_layer = data_all
test_output = data_all
pred_y = torch.max(test_output, 1)[1].data.numpy()
accuracy = float((pred_y == test_y.data.numpy()).astype(int).sum()) / float(test_y.size(0))
print('Epoch: ', epoch, '| train loss: %.4f' % loss.data.numpy(), '| test accuracy: %.4f' % accuracy)
# print 10 predictions from test data
data_all1 = model(test_x[:10])
test_output = data_all1
_ = data_all1
pred_y = torch.max(test_output, 1)[1].data.numpy()
print(pred_y, 'prediction number')
print(test_y[:10].numpy(), 'real number')
2.bpnn
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torchvision import datasets, transforms
import torchvision
DOWNLOAD_MNIST = False # 表示还没有下载数据集,如果数据集下载好了就写False
BATCH_SIZE = 50
LR = 0.