作者： 蒋智昊

一、Sigmoid ReLU Tanh 定义

1、Sigmoid。Sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。

import torch

import matplotlib

import matplotlib.pyplot as plt

import math

plt.figure(figsize=(15,8))

# 指定默认字体

matplotlib.

import torch

import matplotlib.pyplot as plt

import matplotlib as mpl

# randint方法产生2维并且每个维度20个数据

data1 = torch.randint(1, 10,(2,20)).float()

print(data1)

# 进行Z-SCORE归一化处理

data2 = (data1 – data1.mean()) / data1.std()

print(data2)

import torch

import matplotlib.pyplot as plt

import matplotlib as mpl

# randint方法产生2维并且每个维度20个数据

# 数据范围在1-10（不含10）

data1 = torch.randint(1, 10,(2,20)).float()

print(data1)

# 进行Z-SCORE归一化处理

data2 = (data1 – data1.mean()) / data1.

1、torch.Tensor 转 numpy

import torch

#ndarray = tensor.numpy()

#ndarray = tensor.cpu().numpy()

x = torch.randn(10)

arr = x.numpy()

print(x)

print(arr)

#print(arr[0])

for z in arr:

print(z)

tensor([-0.3291, -0.9795, -0.2297, -0

import torch

# 创建一个未初始化的5×3张量

print(‘1、创建一个未初始化的5×3张量’)

x = torch.empty(5, 3)

print(x)

# 创建一个随机初始化的5×3张量

print(‘2、创建一个随机初始化的5×3张量’)

y = torch.rand(5, 3)

print(y)

# 创建一个5×3的0张量，类型为long

print(‘3、创建一个5×3的0张量，类型为long’)

z = torch.

torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。也可以传入一个有序模块。

# Sequential使用实例

model = nn.Sequential(

nn.Conv2d(1,20,5),

nn.ReLU(),

nn.Conv2d(20,64,5),

nn.ReLU()

)

# Sequential with OrderedDict使用实例

model = nn.Sequential(O

在PyTorch中，tensor有一个requires_grad参数，如果设置为True，则反向传播时，该tensor就会自动求导。

tensor的requires_grad的属性默认为False，若一个节点（叶子变量：自己创建的tensor）requires_grad被设置为True，那么所有依赖它的节点requires_grad都为True（即使其他相依赖的tensor的requires_grad = False）。

当requires_grad设置为False时，反向传播时就不会自