python基础学习(7)
admin
2024-03-15 22:55:54
0
  1. nn.LSTM:
    1. 可以直接构建若干层的LSTM,构造时传入的三个参数和nn.RNN一样,依次是:[feature_len,hidden_len,num_layers],其中hidden_len既用于隐藏状态h_t的尺寸,也用于记忆单元C_t的尺寸。实际上,两者的shape是一样的,都是[num_layers,batch,hidden_len]。
    2. nn.LSTM的forward函数(相比rnn,需要多提供初始的c_0,并最终多得到一个c_t):
      out,(h_t ,C_t)=lstm(x,(h_0 ,C_0))
       
      1. x仍然是一次性将当前batch所有seq_len个时刻的样本都输入,其shape是[seq_len,batch,feature_len]。
      2. 在任意t时刻的h_t和C_t两类Memory其shape都是[num_layers,batch,hidden_len]。
      3. 最终的输出out同样是在所有时刻最后一层上的输出(特别注意,LSTM中的输出是h不是C),因此是将feature_len规约成了hidden_len那么长,所以其shape是[seq_len,batch,hidden_len]。
    3. 例子:
      # 如可以解释成:4层的LSTM,输入的每个词用100维向量表示,隐藏单元和记忆单元的尺寸是20
      lstm = nn.LSTM(input_size=100, hidden_size=20, num_layers=4)
      # 前向计算过程,这里不传入h_0和C_0则会默认初始化
      out, (h, c) = lstm(x)
  2. nn.LSTMCell:
    1. 该模块构建LSTM中的一个Cell,同一层会共享这一个Cell,但要手动处理每个时刻的迭代计算过程。如果要建立多层的LSTM,就要建立多个nn.LSTMCell。
    2. 构造方法:和nn.LSTM类似,依次传入feature_len和hidden_len,因为这只是一个计算单元,所以不涉及层数。
    3. forward函数:
      h_t ,C_t=lstmcell(x_t ,(h_(t−1) ,C_(t−1)))
       
      1. 输入x_t只是t时刻的输入,不涉及seq_len,所以其shape是[batch,feature_len]。
      2. h_t和C_t在这里只是t时刻本层的隐藏单元和记忆单元,不涉及num_layers,所以其shape是[batch,hidden_len]。
    4. 构建:
      1. 一层:
        # 一层的LSTM计算单元,输入的feature_len=100,隐藏单元和记忆单元hidden_len=20
        cell = nn.LSTMCell(input_size=100, hidden_size=20)# 初始化隐藏单元h和记忆单元C,取batch=3
        h = torch.zeros(3, 20)
        C = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,传入输入x_t和上个时刻的h_{t-1}和C_{t-1}
        for xt in xs:h, C = cell(xt, (h, C))
      2. 两层:
        # 输入的feature_len=100,变到该层隐藏单元和记忆单元hidden_len=30
        cell_l0 = nn.LSTMCell(input_size=100, hidden_size=30)
        # hidden_len从l0层的30变到这一层的20
        cell_l1 = nn.LSTMCell(input_size=30, hidden_size=20)# 分别初始化l0层和l1层的隐藏单元h和记忆单元C,取batch=3
        # 注意l0层的hidden_len=30
        h_l0 = torch.zeros(3, 30)
        C_l0 = torch.zeros(3, 30)
        # 而到l1层之后hidden_len=20
        h_l1 = torch.zeros(3, 20)
        C_l1 = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,从下到上计算本时刻的所有层
        for xt in xs:h_l0, C_l0 = cell_l0(xt, (h_l0, C_l0))  # l0层直接接受xt输入h_l1, C_l1 = cell_l1(h_l0, (h_l1, C_l1))  # l1层接受l0层的输出h为输入

相关内容

热门资讯

银行间主要利率债午间走势分化 每经AI快讯,7月28日,银行间主要利率债午间走势分化,30年期国债“26超长特别国债04”收益率下...
2026海河国际消费论坛即将在... 2026海河国际消费论坛将于7月30日下午在天津启幕,目前各项筹备工作已全部就绪。本届论坛以“创新服...
原创 一... 前言 1942年的一天,一名身穿军装的年轻人,悄悄走到一位老妇人的面前。他脸上带着疲惫,眼神中却依然...
原创 曹... 八十岁的曹德旺,这几年在公开场合谈到房子这两个字,语气一次比一次冷。他早年那句"房子不过是钢筋水泥堆...
股息率近5.5%!港股红利低波... 7月28日,港股红利资产延续强势。截至13时48分,港股红利低波ETF招商(520550)涨0.46...
企业文件共享平台怎么选?主流方... 文件共享平台种类繁多,各有侧重。今天这篇文章,把2026年市面上主流的企业文件共享平台做个系统梳理,...
币圈院士:7.26以太坊(ET... 币圈院士:7.26以太坊(ETH)双周期指标暗藏方向,行情即将破位?最新行情分析参考 以太坊现价18...
老铺黄金发盈喜后股价跌16.2... 观点网讯:7月28日,老铺黄金股价裂口低开12.97%,最低见325.8港元,收盘报332港元,跌1...
苏泊尔上半年营收净利双降,法籍... 瑞财经 严明会 近日,苏泊尔(002032.SZ)披露2026年半年度业绩快报。 公告显示,公司上半...
IPO雷达|陕西瑞科回复二轮问... 深圳商报·读创客户端记者 梁佳彤 7月27日,据北交所官网,陕西瑞科新材料股份有限公司(下称“陕西瑞...
普京签令,俄军扩编 据新华社报道,俄罗斯总统普京27日签署命令, 决定组建几支军事建筑工程部队,并将俄武装力量编制总人数...
2027年德国杜塞尔多夫国际铸... 展会名称:2027年德国杜塞尔多夫国际铸造、冶金、热处理及铸件展览会GMTN 开始时间:2027-0...
郑州有了温通刮痧培训示范基地 本报讯(记者 杨振东 通讯员 张丹婧)温通刮痧是中医外治法里的一种,简单说就是在传统刮痧基础上,结合...
整箱茅台和单瓶茅台,回收行情为... 不少天津藏友存在疑惑:同样年份、同样品相的飞天茅台,整箱装和拆箱单瓶的回收报价存在差距,不清楚背后的...
北京五粮液收购需要遵循哪些通用... 北京五粮液收购的行业背景 近年来高端白酒的收藏与流通市场规模稳步扩张,北京作为国内重要的消费城市,五...
微软CEO重磅警告:只依赖一家... 来源:环球网 【环球网科技综合报道】7月28日消息,据外媒TechCrunch报道,微软CEO萨提亚...
策略师:金价夏季维持4000美... 汇通财经APP讯——今夏金价大概率在4000美元/盎司附近震荡筑底,市场等待美联储货币政策清晰指引。...
大众叙事下白酒行业周期如何拆解... 白酒行业的波动往往并非单纯由供需关系决定,而是 宏观经济预期与 渠道库存周期共振的结果。在大众认知中...
沈皓南:黄金低位大区间运行,短... 大家好,我是沈皓南,差不多有一个月没有更新黄金文章了,这段时间我去了美丽的新疆,自驾了独库公路,观赏...
原创 上... 2000年9月28日傍晚,济青高速临淄出口边一家小饭馆的木门被推开,六个山东汉子鱼贯而入。几个小时前...