python基础学习(7)
admin
2024-03-15 22:55:54
0
  1. nn.LSTM:
    1. 可以直接构建若干层的LSTM,构造时传入的三个参数和nn.RNN一样,依次是:[feature_len,hidden_len,num_layers],其中hidden_len既用于隐藏状态h_t的尺寸,也用于记忆单元C_t的尺寸。实际上,两者的shape是一样的,都是[num_layers,batch,hidden_len]。
    2. nn.LSTM的forward函数(相比rnn,需要多提供初始的c_0,并最终多得到一个c_t):
      out,(h_t ,C_t)=lstm(x,(h_0 ,C_0))
       
      1. x仍然是一次性将当前batch所有seq_len个时刻的样本都输入,其shape是[seq_len,batch,feature_len]。
      2. 在任意t时刻的h_t和C_t两类Memory其shape都是[num_layers,batch,hidden_len]。
      3. 最终的输出out同样是在所有时刻最后一层上的输出(特别注意,LSTM中的输出是h不是C),因此是将feature_len规约成了hidden_len那么长,所以其shape是[seq_len,batch,hidden_len]。
    3. 例子:
      # 如可以解释成:4层的LSTM,输入的每个词用100维向量表示,隐藏单元和记忆单元的尺寸是20
      lstm = nn.LSTM(input_size=100, hidden_size=20, num_layers=4)
      # 前向计算过程,这里不传入h_0和C_0则会默认初始化
      out, (h, c) = lstm(x)
  2. nn.LSTMCell:
    1. 该模块构建LSTM中的一个Cell,同一层会共享这一个Cell,但要手动处理每个时刻的迭代计算过程。如果要建立多层的LSTM,就要建立多个nn.LSTMCell。
    2. 构造方法:和nn.LSTM类似,依次传入feature_len和hidden_len,因为这只是一个计算单元,所以不涉及层数。
    3. forward函数:
      h_t ,C_t=lstmcell(x_t ,(h_(t−1) ,C_(t−1)))
       
      1. 输入x_t只是t时刻的输入,不涉及seq_len,所以其shape是[batch,feature_len]。
      2. h_t和C_t在这里只是t时刻本层的隐藏单元和记忆单元,不涉及num_layers,所以其shape是[batch,hidden_len]。
    4. 构建:
      1. 一层:
        # 一层的LSTM计算单元,输入的feature_len=100,隐藏单元和记忆单元hidden_len=20
        cell = nn.LSTMCell(input_size=100, hidden_size=20)# 初始化隐藏单元h和记忆单元C,取batch=3
        h = torch.zeros(3, 20)
        C = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,传入输入x_t和上个时刻的h_{t-1}和C_{t-1}
        for xt in xs:h, C = cell(xt, (h, C))
      2. 两层:
        # 输入的feature_len=100,变到该层隐藏单元和记忆单元hidden_len=30
        cell_l0 = nn.LSTMCell(input_size=100, hidden_size=30)
        # hidden_len从l0层的30变到这一层的20
        cell_l1 = nn.LSTMCell(input_size=30, hidden_size=20)# 分别初始化l0层和l1层的隐藏单元h和记忆单元C,取batch=3
        # 注意l0层的hidden_len=30
        h_l0 = torch.zeros(3, 30)
        C_l0 = torch.zeros(3, 30)
        # 而到l1层之后hidden_len=20
        h_l1 = torch.zeros(3, 20)
        C_l1 = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,从下到上计算本时刻的所有层
        for xt in xs:h_l0, C_l0 = cell_l0(xt, (h_l0, C_l0))  # l0层直接接受xt输入h_l1, C_l1 = cell_l1(h_l0, (h_l1, C_l1))  # l1层接受l0层的输出h为输入

相关内容

热门资讯

邮储银行行长芦苇兼任公司首席合... 5月26日,邮储银行发布董事会决议公告,邮储银行行长芦苇自2026年5月26日起兼任邮储银行首席合规...
我愿意二次到店吗?小店主理人交... 来源:滚动播报 (来源:上观新闻) 咖啡店主理人可以去餐饮店体验一天,感受烟火气和客流管理;手工...
原创 深... 当政策暖风遇上资产配置需求,深圳楼市正上演一场“热度与信心齐飞”的戏码!上周(5.18-5.24),...
被封千万网红大蓝卷土重来:拉人... 蓝鲸新闻5月26日讯(记者 赵凯)“朋友圈散布经济恐慌言论制造焦虑,拉人头设多级返利,数百人入局、累...
抖音商城618前六日数据:消费... “清凉经济”热度高:抖音商城618首阶段空气循环扇订单量同比增长348% 作者 I 钱游 报道 I ...
金华有闲置贵金属想变现该怎么挑... 当下闲置物品处置、短期资金周转的需求日渐普遍,市面上的相关服务机构水平参差不齐,不少有黄金回收需求的...
千亿市值芯片企业完成IPO辅导... 【大河财立方消息】5月26日,新三板挂牌企业宸芯科技股份有限公司(证券简称:宸芯科技)公告,收到青岛...
NBBOSS R1全球首发 重... 5月26日,信人智能旗下全球首款企业家专属AI决策伙伴NBBOSS AI决策机器人R1正式全球首发。...
NFC果汁配料表“水”排第一?... 随着气温升高,果汁进入消费旺季。然而很多果汁产品的标注却让消费者感到困惑。比如:有的标注“纯果汁”,...
存储牛市与全民狂热:韩国股市泡... 2026年5月的韩国,正经历一场史无前例的资本狂欢。自2025年4月触底以来,KOSPI指数在18个...
下架,召回!双汇子公司猪肉抗生... 近日,黑龙江省市场监督管理局网站发布关于食品安全监督抽检信息的通告(2026年第7期)。 其中,望奎...
换帅潮席卷白酒圈 白酒本轮人事变动频次之高、画像之多元,几乎超过了过去任何一个周期。 5月19日,“河北王”老白干酒宣...
4月意大利起泡酒猛增122.5... 近日,海关总署公布了2026年4月葡萄酒进口数据。其中,起泡酒表现尤为突出,进口量同比增长35.8%...
华为“韬定律”提振港股半导体股... 财联社5月26日讯(编辑 胡家荣)半导体产业链个股集体走强。截至发稿,华虹半导体(01347.HK)...
历史不会重演,但会惊人相似:中... 金价疯涨别乱买!复刻2015年走势,普通人记住3个保命妙招 最近逛商场,最大的感受就是黄金柜台太热闹...
商品标签被指涉嫌性暗示,盒马道... 近日,盒马旗下一款粉木耳产品因标签设计引发争议,不少网友吐槽该商品标签低俗,涉嫌性暗示。 25日晚...
东莞一上市公司董事会“换血”,... 近日,易事特集团股份有限公司发布《关于董事会完成换届选举及聘任高级管理人员、证券事务代表暨公司控制权...
做宠物食品,已经很难赚到钱了? 流量争夺战里没有赢家 撰文/ 黎炫岐 编辑/ 李觐麟 排版/ Annalee “它经济”,一个持续升...
2万亿美元!SpaceX上市前... “你想在早上醒来时觉得未来会很美好——而这正是成为太空文明的全部意义所在。它关乎相信未来,并认为未来...