如何高大上的初始化变量和对矩阵每行求平均
创始人
2025-05-31 22:06:09
0次
好久没写博客了，去年下半年学雅思和申博，今年这几个月准备毕业论文，手忙脚乱的。
一、按行归一化
直接进正题，最近工作涉及到需要对一个 [s,d] ，大部分是0的矩阵tmp每行求每个值的平均（即归一化）
最开始想到的是
np.mean(H,1)
但它是把每行求成一个值了，得到的是[s,1]，而我需要得到的仍是[s,d]
后来我用了个笨办法，先求每行的和的一个向量cout[s,1]
然后扩展成[s,d]
最后相除。。。
tmp = torch.mm(self.H2, Mq) # [s,d]
cout = np.sum(self.avr, 1).reshape(-1, 1) # [s,1]
weight = torch.tensor(np.tile(cout, self.hidden_dim)).to(self.device)
res = tmp / weight # [s,d]
后来我发现可以用F.normalize实现
res = F.normalize(tmp.float(), p=1, dim=0)
其中p=1代表第一范式，即求平均，p=2代表第二范式，即求std标准差，描述各数据偏离平均数的距离的平均数
这里我用到的是p=1
这里给个示例
x = torch.tensor([0,1,0,2])
print(F.normalize(x.float(), p=1, dim=0))输出是：tensor([0.0000, 0.3333, 0.0000, 0.6667])
二、简易初始化
这也是我最近学到的，以前我初始化一个q维度的表示
Q_embedding = nn.Embedding(q + 1, hidden_dim)
a = torch.tensor(range(1, q + 1)).to(self.device)
Eq = Q_embedding(a) # [q,d]
现在可以一行解决，就是用Q_embedding.weight,毕竟之前的方法也是为了拿出nn.Embedding中各个位置的权重
Q_embedding = nn.Embedding(q, hidden_dim)
Eq = Q_embedding.weight # [q,d]
有一个需要注意的点就是nn.Embedding不需要q+1了。
相关内容
热门资讯
走进小城看消费丨江西资溪：低碳...
夏日时节下午4点，江西省抚州市资溪县大觉山景区漂流终点依然热闹。来自南昌的游客余鑫漂流结束后没有...
【中原晨会0625】市场分析专...
来源：市场资讯 （来源：中原证券研究所） 本期重点研报目录 【中原策略】市场分析：电子半导体领涨 ...
南向资金连买4日！低费率+可月...
6月25日早盘，港股红利资产震荡整理。截至11时14分，港股红利低波ETF招商(520550)下跌0...
618成交破百万！紫荆花用一套...
一年一度的618年中大促，是消费市场的晴雨表，也是品牌间最激烈的角力场。当各大品牌在直播间里铆足了劲...
原创 黄...
2026年6月25日的国际金价已经从前期的5500美元高点跌到4200美元下方，累计跌幅超过22%，...
英伟达CEO：Vera Rub...
截至9:38，中证半导体材料设备主题指数（931743）涨2.36%创新高；权重股中，中微公司涨3....
再被催债16亿！“钢铁大王”戴...
澎湃新闻记者 贺梨萍 因“铁本事件”入狱五年的戴国芳重返钢铁行业，但他并没有完成从阶下囚再到“钢铁大...
周三原油价格下跌
随着美国和伊朗在和平谈判中取得进展，越来越多的油轮公开穿越霍尔木兹海峡，原油在战时的价格上涨已经蒸发...
这种蛋白是大脑衰老的开关
这种蛋白是大脑衰老的开关 清晨，假设一位五十岁左右的王女士发现自己常常把手机放在熟悉的抽屉里又找不到...
信通院牵头算力Token出海生...
盘面上，截至11：04，中证科创创业50指数（931643）涨1.68%，创历史新高；权重股中，芯原...
海外 774 亿营收背后：日本...
文 | 游戏价值论 6月23日，彭博社报道了腾讯正在围绕出售多家日本游戏工作室少数股权开展谈判，包...
餐饮“抢人”大战：把店开到公交...
作者 |餐饮老板内参 内参君 医院、公交站、演唱会…餐饮品牌，正在无孔不入 在北京儿童医院，肯德基...
快讯 | 外资扫货！陈翊庭：港...
港交所行政总裁陈翊庭在接受《中国证券报》专访时指出，国际资本对中国资产的看法已彻底扭转，布局中国市场...
2777.77元！A股“股王”...
25日早盘，昨天创下历史新高的A股“股王”联讯仪器，今天上午继续走强，盘中股价再度刷新历史新高。 截...
原创 今...
欧洲自己的媒体直接下结论，欧盟衰退躲不掉，内部分裂拦不住，现在就连欧洲顶尖工业巨头，都偷偷在用中国的...
黄仁勋股东大会放言：本轮AI基...
在当地时间6月24日的英伟达（NVDA.O）2026年度股东大会上，股东批准了该公司全部10名董事会...
国际油价大跌
新华社消息， 纽约原油期货主力合约价格24日盘中跌破每桶70美元，为伊朗战事爆发以来首次。 市场分析...
马云带队插秧，什么信号？
一场别开生面的“务农”，让外界看到了一个不一样的阿里巴巴。 近日，阿里巴巴合伙人、高德董事长刘振飞在...
全球最大产能，最高丰度达99....
本文转自【科技日报】； 6月23日，高丰度硼-10同位素技术暨产业化成果发布会在山东省东营市举办，全...
黄金大跳水！金饰克价年内暴跌近...
25日，现货黄金盘中震荡，截至发稿，报3985.070美元/盎司，跌0.17%。 当地时间24日，...