out,(h_t ,C_t)=lstm(x,(h_0 ,C_0)) # 如可以解释成:4层的LSTM,输入的每个词用100维向量表示,隐藏单元和记忆单元的尺寸是20
lstm = nn.LSTM(input_size=100, hidden_size=20, num_layers=4)
# 前向计算过程,这里不传入h_0和C_0则会默认初始化
out, (h, c) = lstm(x) h_t ,C_t=lstmcell(x_t ,(h_(t−1) ,C_(t−1))) # 一层的LSTM计算单元,输入的feature_len=100,隐藏单元和记忆单元hidden_len=20
cell = nn.LSTMCell(input_size=100, hidden_size=20)# 初始化隐藏单元h和记忆单元C,取batch=3
h = torch.zeros(3, 20)
C = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,传入输入x_t和上个时刻的h_{t-1}和C_{t-1}
for xt in xs:h, C = cell(xt, (h, C)) # 输入的feature_len=100,变到该层隐藏单元和记忆单元hidden_len=30
cell_l0 = nn.LSTMCell(input_size=100, hidden_size=30)
# hidden_len从l0层的30变到这一层的20
cell_l1 = nn.LSTMCell(input_size=30, hidden_size=20)# 分别初始化l0层和l1层的隐藏单元h和记忆单元C,取batch=3
# 注意l0层的hidden_len=30
h_l0 = torch.zeros(3, 30)
C_l0 = torch.zeros(3, 30)
# 而到l1层之后hidden_len=20
h_l1 = torch.zeros(3, 20)
C_l1 = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,从下到上计算本时刻的所有层
for xt in xs:h_l0, C_l0 = cell_l0(xt, (h_l0, C_l0)) # l0层直接接受xt输入h_l1, C_l1 = cell_l1(h_l0, (h_l1, C_l1)) # l1层接受l0层的输出h为输入
上一篇:春日氛围感怎么穿?看这4部电影跟着学 春日氛围感怎么穿?看这4部电影跟着学
下一篇:3·15晚会丨多家婚恋公司被点名!“把客户当成猎物”!红娘围追堵截,消费者一步步踏入陷阱…… 3·15晚会丨多家婚恋公司被点名!“把客户当成猎物”!红娘围追堵截,消费者一步步踏入陷阱……