目录
多层感知机：
介绍：
代码实现：
运行结果：
问题答疑：
线性变换与非线性变换
参数含义
为什么清除梯度？
反向传播的作用
为什么更新权重？
多层感知机：
介绍：
缩写：MLP，这是一种人工神经网络，由一个输入层、一个或多个隐藏层以及一个输出层组成，每一层都由多个节点（神经元）构成。在MLP中，节点之间只有前向连接，没有循环连接，这使得它属于前馈神经网络的一种。每个节点都应用一个激活函数，如sigmoid、ReLU等，以引入非线性，从而使网络能够拟合复杂的函数和数据分布。
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader
# Step 1: Define the MLP model
class SimpleMLP(nn.Module):
super(SimpleMLP, self).__init__()
self.fc1 = nn.Linear(784, 128) # Input layer to hidden layer
self.fc2 = nn.Linear(128, 64) # Hidden layer to another hidden layer
self.fc3 = nn.Linear(64, 10) # Hidden layer to output layer
x = x.view(-1, 784) # Flatten the input from 28x28 to 784
x = self.relu(self.fc1(x))
x = self.relu(self.fc2(x))
# Step 2: Load MNIST dataset
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))])
train_dataset = datasets.MNIST(root=./data, train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root=./data, train=False, download=True, transform=transform)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)
# Step 3: Define loss function and optimizer
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)
# Step 4: Train the model
for epoch in range(num_epochs):
for batch_idx, (data, target) in enumerate(train_loader):
loss = criterion(output, target)
print(Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}.format(
epoch, batch_idx * len(data), len(train_loader.dataset),
100. * batch_idx / len(train_loader), loss.item()))
# Step 5: Evaluate the model on the test set (optional)
for images, labels in test_loader:
_, predicted = torch.max(outputs.data, 1)
correct += (predicted == labels).sum().item()
print(Accuracy of the network on the 10000 test images: {} %.format(100 * correct / total))
运行结果：
线性变换与非线性变换
在神经网络中
线性变换通常指的是权重矩阵和输入数据的矩阵乘法，再加上偏置向量。数学上，对于一个输入向量𝑥x和权重矩阵𝑊W，加上偏置向量𝑏b，线性变换可以表示为： 𝑧=𝑊𝑥+𝑏z=Wx+b
非线性变换是指在神经网络的每一层之后应用的激活函数，如ReLU、sigmoid或tanh等。这些函数引入了非线性，使神经网络能够学习和表达复杂的函数关系。没有非线性变换，无论多少层的神经网络最终都将简化为一个线性模型。
参数含义
在上述模型中，参数如784, 128, 64, 10并不是字节，而是神经网络层的尺寸，具体来说是神经元的数量：
784: 这是
输入层的神经元数量，对应于MNIST
数据集中每个
图片的像素数量。MNIST的
图片是28x28像素，因此总共有784个像素点。
128 和
64: 这是两个
隐藏层的神经元数量。它们代表了第一层和第二层的宽度，即这一层有多少个神经元。
10: 这是
输出层的神经元数量，对应于MNIST
数据集中的10个数字类别（0到9）。
为什么清除梯度？
在每一次前向传播和反向传播过程中，梯度会被累积在张量的.grad属性中。如果不手动清零，这些梯度将会被累加，导致不正确的梯度值。因此，在每次迭代开始之前，都需要调用optimizer.zero_grad()来清空梯度。
反向传播的作用
反向传播（Backpropagation）是一种算法，用于计算损失函数相对于神经网络中所有权重的梯度。它的目的是为了让神经网络知道，当损失函数值较高时，哪些权重需要调整，以及调整的方向和幅度。这些梯度随后被用于权重更新，以最小化损失函数。
为什么
更新权重？
权重更新是基于梯度下降算法进行的。在反向传播计算出梯度后，权重通过optimizer.step()函数更新，以朝着减小损失函数的方向移动。
这是训练神经网络的核心，即通过不断调整权重和偏置，使模型能够更好地拟合训练数据，从而提高预测准确性。
