python基础学习(7)
admin
2024-03-15 22:55:54
0
  1. nn.LSTM:
    1. 可以直接构建若干层的LSTM,构造时传入的三个参数和nn.RNN一样,依次是:[feature_len,hidden_len,num_layers],其中hidden_len既用于隐藏状态h_t的尺寸,也用于记忆单元C_t的尺寸。实际上,两者的shape是一样的,都是[num_layers,batch,hidden_len]。
    2. nn.LSTM的forward函数(相比rnn,需要多提供初始的c_0,并最终多得到一个c_t):
      out,(h_t ,C_t)=lstm(x,(h_0 ,C_0))
       
      1. x仍然是一次性将当前batch所有seq_len个时刻的样本都输入,其shape是[seq_len,batch,feature_len]。
      2. 在任意t时刻的h_t和C_t两类Memory其shape都是[num_layers,batch,hidden_len]。
      3. 最终的输出out同样是在所有时刻最后一层上的输出(特别注意,LSTM中的输出是h不是C),因此是将feature_len规约成了hidden_len那么长,所以其shape是[seq_len,batch,hidden_len]。
    3. 例子:
      # 如可以解释成:4层的LSTM,输入的每个词用100维向量表示,隐藏单元和记忆单元的尺寸是20
      lstm = nn.LSTM(input_size=100, hidden_size=20, num_layers=4)
      # 前向计算过程,这里不传入h_0和C_0则会默认初始化
      out, (h, c) = lstm(x)
  2. nn.LSTMCell:
    1. 该模块构建LSTM中的一个Cell,同一层会共享这一个Cell,但要手动处理每个时刻的迭代计算过程。如果要建立多层的LSTM,就要建立多个nn.LSTMCell。
    2. 构造方法:和nn.LSTM类似,依次传入feature_len和hidden_len,因为这只是一个计算单元,所以不涉及层数。
    3. forward函数:
      h_t ,C_t=lstmcell(x_t ,(h_(t−1) ,C_(t−1)))
       
      1. 输入x_t只是t时刻的输入,不涉及seq_len,所以其shape是[batch,feature_len]。
      2. h_t和C_t在这里只是t时刻本层的隐藏单元和记忆单元,不涉及num_layers,所以其shape是[batch,hidden_len]。
    4. 构建:
      1. 一层:
        # 一层的LSTM计算单元,输入的feature_len=100,隐藏单元和记忆单元hidden_len=20
        cell = nn.LSTMCell(input_size=100, hidden_size=20)# 初始化隐藏单元h和记忆单元C,取batch=3
        h = torch.zeros(3, 20)
        C = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,传入输入x_t和上个时刻的h_{t-1}和C_{t-1}
        for xt in xs:h, C = cell(xt, (h, C))
      2. 两层:
        # 输入的feature_len=100,变到该层隐藏单元和记忆单元hidden_len=30
        cell_l0 = nn.LSTMCell(input_size=100, hidden_size=30)
        # hidden_len从l0层的30变到这一层的20
        cell_l1 = nn.LSTMCell(input_size=30, hidden_size=20)# 分别初始化l0层和l1层的隐藏单元h和记忆单元C,取batch=3
        # 注意l0层的hidden_len=30
        h_l0 = torch.zeros(3, 30)
        C_l0 = torch.zeros(3, 30)
        # 而到l1层之后hidden_len=20
        h_l1 = torch.zeros(3, 20)
        C_l1 = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,从下到上计算本时刻的所有层
        for xt in xs:h_l0, C_l0 = cell_l0(xt, (h_l0, C_l0))  # l0层直接接受xt输入h_l1, C_l1 = cell_l1(h_l0, (h_l1, C_l1))  # l1层接受l0层的输出h为输入

相关内容

热门资讯

【加密货币支持的规则扩大信托银... 【加密货币支持的规则扩大信托银行服务获得美国最终批准】美国银行业监管机构正在扩大贷款机构在国家信托牌...
覆铜板量价齐升 生益科技202... 面对每天上千份上市公司公告该看哪些?重大事项公告动辄几十页几百页重点是啥?公告里一堆专业术语不知道算...
3 个穴位,调帕金森,不费力也... 3 个穴位,调帕金森,不费力也不花钱。只要你手抖、肢体僵硬、走路不稳的时候,按这 3 个穴位,就能舒...
“以租代买”为何受青睐?“万物... 最近一段时间,在最长春节假期的带动下,我国的消费市场活力十足。然而,在“买买买”之外,也有些人把“租...
新一批香港互认基金获批 【导读】新一批香港互认基金获批 中国基金报记者 格林 中国基金报记者获悉,摩根亚洲股票高息基金、富达...
春节假期产销两旺 “白沙好物”... 2月27日,记者从白沙电商中心获悉,今年春节假期,在浓厚的节日消费氛围带动下,“白沙好物”市场持续火...
损失4万5,和解金4100多,... 【文/羽扇观金工作室 陶立烽】 损失将近4万5,和解金才4100多,亏的越多补偿越少?国投瑞银白银...
雷军直播新一代SU7门把手:增... 红星资本局2月28日消息 2月27日,小米创办人、董事长兼CEO雷军在小米汽车工厂里进行直播,与多位...
迎接50万亿存款迁徙|搬家的钱... 开栏语:一场规模高达50万亿的存款迁徙正蓄势待发。站在财富配置的历史拐点,如何审视这波天量资金的洪流...
大连航天医院费用公开透明|下肢... 大连航天医院静脉曲张专科学科带头人杨红东:下肢静脉曲张在人群中发病率大概在7%左右。下肢静脉曲张最主...
【锋行链盟】A轮融资流程及核心... A轮融资是创业公司发展的重要里程碑,通常发生在种子轮/天使轮之后、B轮之前。此时公司已完成产品验证(...
原创 未... 在快速变化的时代,把握趋势往往意味着抓住先机。本文将深入探讨十大关键发展趋势,它们不仅塑造着我们的生...
太突然!002855,71岁董... 每经记者|蔡鼎 每经编辑|何小桃 董兴生 2月27日晚间,捷荣技术(SZ002855,股价16.4...
原创 今... 2026年2月27日,你走进周大福金店,柜姐微笑着告诉你今日金价是每克1576元。 你或许觉得这个价...
致远互联2025年实现营收9.... 本报讯 (记者向炎涛)2月27日,北京致远互联软件股份有限公司(以下简称“致远互联”)发布2025年...
A股突发!600481,被证监... 【导读】双良节能因涉嫌信息披露误导性陈述等违法违规行为被立案 中国基金报记者 夏天 公司表示,目前...
高人预测:5年后,手持两套房以... 前几年,谁家要是两三套房,那简直就是“别人眼里的成功模板”。 过年亲戚一坐,有人开口就是:“早听我的...
刘强东雷军同框C位!中德交流排... 今年刘强东和雷军同框的画面好像有点多哦。 在2月25号下午的中德经济顾问委员会座谈会上,刘强东和雷军...
万达20亿元转让上海颛桥万达广... 财联社2月27日电,记者从独立信源处获悉,万达以20.48亿元的价格出售了旗下位于上海的颛桥万达广场...
德邦基金“大V带货”风波后,8... 作者 | 郑理、刘银平 来源 | 独角金融 2月14日,德邦基金一纸公告,揭开了公司管理层的重要调整...