python基础学习(7)
admin
2024-03-15 22:55:54
0次
  1. nn.LSTM:
    1. 可以直接构建若干层的LSTM,构造时传入的三个参数和nn.RNN一样,依次是:[feature_len,hidden_len,num_layers],其中hidden_len既用于隐藏状态h_t的尺寸,也用于记忆单元C_t的尺寸。实际上,两者的shape是一样的,都是[num_layers,batch,hidden_len]。
    2. nn.LSTM的forward函数(相比rnn,需要多提供初始的c_0,并最终多得到一个c_t):
      out,(h_t ,C_t)=lstm(x,(h_0 ,C_0))
       
      1. x仍然是一次性将当前batch所有seq_len个时刻的样本都输入,其shape是[seq_len,batch,feature_len]。
      2. 在任意t时刻的h_t和C_t两类Memory其shape都是[num_layers,batch,hidden_len]。
      3. 最终的输出out同样是在所有时刻最后一层上的输出(特别注意,LSTM中的输出是h不是C),因此是将feature_len规约成了hidden_len那么长,所以其shape是[seq_len,batch,hidden_len]。
    3. 例子:
      # 如可以解释成:4层的LSTM,输入的每个词用100维向量表示,隐藏单元和记忆单元的尺寸是20
      lstm = nn.LSTM(input_size=100, hidden_size=20, num_layers=4)
      # 前向计算过程,这里不传入h_0和C_0则会默认初始化
      out, (h, c) = lstm(x)
  2. nn.LSTMCell:
    1. 该模块构建LSTM中的一个Cell,同一层会共享这一个Cell,但要手动处理每个时刻的迭代计算过程。如果要建立多层的LSTM,就要建立多个nn.LSTMCell。
    2. 构造方法:和nn.LSTM类似,依次传入feature_len和hidden_len,因为这只是一个计算单元,所以不涉及层数。
    3. forward函数:
      h_t ,C_t=lstmcell(x_t ,(h_(t−1) ,C_(t−1)))
       
      1. 输入x_t只是t时刻的输入,不涉及seq_len,所以其shape是[batch,feature_len]。
      2. h_t和C_t在这里只是t时刻本层的隐藏单元和记忆单元,不涉及num_layers,所以其shape是[batch,hidden_len]。
    4. 构建:
      1. 一层:
        # 一层的LSTM计算单元,输入的feature_len=100,隐藏单元和记忆单元hidden_len=20
        cell = nn.LSTMCell(input_size=100, hidden_size=20)# 初始化隐藏单元h和记忆单元C,取batch=3
        h = torch.zeros(3, 20)
        C = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,传入输入x_t和上个时刻的h_{t-1}和C_{t-1}
        for xt in xs:h, C = cell(xt, (h, C))
      2. 两层:
        # 输入的feature_len=100,变到该层隐藏单元和记忆单元hidden_len=30
        cell_l0 = nn.LSTMCell(input_size=100, hidden_size=30)
        # hidden_len从l0层的30变到这一层的20
        cell_l1 = nn.LSTMCell(input_size=30, hidden_size=20)# 分别初始化l0层和l1层的隐藏单元h和记忆单元C,取batch=3
        # 注意l0层的hidden_len=30
        h_l0 = torch.zeros(3, 30)
        C_l0 = torch.zeros(3, 30)
        # 而到l1层之后hidden_len=20
        h_l1 = torch.zeros(3, 20)
        C_l1 = torch.zeros(3, 20)# 这里是seq_len=10个时刻的输入,每个时刻shape都是[batch,feature_len]
        xs = [torch.randn(3, 100) for _ in range(10)]# 对每个时刻,从下到上计算本时刻的所有层
        for xt in xs:h_l0, C_l0 = cell_l0(xt, (h_l0, C_l0))  # l0层直接接受xt输入h_l1, C_l1 = cell_l1(h_l0, (h_l1, C_l1))  # l1层接受l0层的输出h为输入

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...