如何高大上的初始化变量和对矩阵每行求平均
创始人
2025-05-31 22:06:09
0次
好久没写博客了，去年下半年学雅思和申博，今年这几个月准备毕业论文，手忙脚乱的。
一、按行归一化
直接进正题，最近工作涉及到需要对一个 [s,d] ，大部分是0的矩阵tmp每行求每个值的平均（即归一化）
最开始想到的是
np.mean(H,1)
但它是把每行求成一个值了，得到的是[s,1]，而我需要得到的仍是[s,d]
后来我用了个笨办法，先求每行的和的一个向量cout[s,1]
然后扩展成[s,d]
最后相除。。。
tmp = torch.mm(self.H2, Mq) # [s,d]
cout = np.sum(self.avr, 1).reshape(-1, 1) # [s,1]
weight = torch.tensor(np.tile(cout, self.hidden_dim)).to(self.device)
res = tmp / weight # [s,d]
后来我发现可以用F.normalize实现
res = F.normalize(tmp.float(), p=1, dim=0)
其中p=1代表第一范式，即求平均，p=2代表第二范式，即求std标准差，描述各数据偏离平均数的距离的平均数
这里我用到的是p=1
这里给个示例
x = torch.tensor([0,1,0,2])
print(F.normalize(x.float(), p=1, dim=0))输出是：tensor([0.0000, 0.3333, 0.0000, 0.6667])
二、简易初始化
这也是我最近学到的，以前我初始化一个q维度的表示
Q_embedding = nn.Embedding(q + 1, hidden_dim)
a = torch.tensor(range(1, q + 1)).to(self.device)
Eq = Q_embedding(a) # [q,d]
现在可以一行解决，就是用Q_embedding.weight,毕竟之前的方法也是为了拿出nn.Embedding中各个位置的权重
Q_embedding = nn.Embedding(q, hidden_dim)
Eq = Q_embedding.weight # [q,d]
有一个需要注意的点就是nn.Embedding不需要q+1了。
相关内容
热门资讯
贵金属价格上涨能否持续
回顾2025年大类资产表现，以黄金、白银、铂族金属为代表的贵金属板块价格一路狂飙，令全球投资者印象深...
手握金条无处安放？银行保管箱“...
本报（chinatimes.net.cn）记者付乐 见习记者 林佳茹 北京报道 “现在网点暂时没有空...
雷军直播再谈“反小字营销”！新...
1月15日晚，小米创办人、董事长兼CEO雷军在直播中再度聚焦“小字营销”问题，明确表达小米反对该行业...
重庆今年首只新股至信股份上市 ...
1月15日，重庆至信实业股份有限公司（以下简称“至信股份”）在上海证券交易所主板敲锣上市，成为今年A...
创历史新高！2025年我国外汇...
国家外汇管理局1月15日发布数据显示，2025年，我国外汇市场交易量达42.6万亿美元，企业外汇套期...
跨境电商运营：2026全球瑜伽...
今天分享的是：跨境电商运营：2026全球瑜伽服市场洞察报告 报告共计：41页 《2026全球瑜伽服市...
中文在线涨势“刹车”，上市以来...
来源：市场资讯 来源：国际金融报 1月15日，连续多日因“狂飙”行情被称为新“易中天”之一的中文在线...
原创 1...
写在文章前的声明：在本文之前的说明：本文中所列的投资信息，只是一个对基金资产净值进行排行的客观描述，...
湾财晚报| 商业用房首付比例降...
编辑 | 子衿 商业用房首付比例降至30% 今日，商办地产市场迎来重磅利好。 中国人民银行新闻发言人...
全年26亿！这些银行“喜提”罚...
过去一年，监管“长牙带刺、有棱有角”的态度一以贯之，驱动银行从根源上提升合规能力，强化内控管理。 企...
业绩拐点已现？金沃股份预计去年...
公司于今日晚间发布公告，2025年，公司在手订单情况良好，预计实现营业收入12.4-12.5亿元，同...
监管批复！郑荣波就任东亚银行珠...
2026年1月15日，根据国家金融监督管理总局消息，《关于核准郑荣波东亚银行（中国）有限公司珠海分行...
格力电器，近56亿元“大红包”...
1月15日晚，格力电器披露2025年中期权益分派实施公告。 根据方案，格力电器拟以公司现有总股本剔...
新技术助力提高IVF成功率，女...
打破生育瓶颈：新技术或助提高IVF成功率 想象一下，经历了数次试管婴儿（IVF）治疗的女性，心中满是...
卖“未来”换喘息：一品红主业失...
一品红（300723.SZ）再次向市场递交了一份亏损的成绩单。 1月14日发布的业绩预告显示，一品红...
央行：下调各类结构性货币政策工...
文、摄影/刘佳 1月15日，人民银行新闻发言人、副行长邹澜在国新办新闻发布会上表示，根据当前经济金融...
锂电大牛股，董事长等三人收到警...
2025年股价涨幅高达429.42%的锂电大牛股天际股份，1月15日晚发布扭亏为盈的业绩预告，同时“...
重磅年度经济数据即将发布，5%...
备受市场关注的2025中国经济年报即将揭晓。 国家统计局将于1月19日发布2025年度经济数据。机构...
雷军强调：新一代SU7所有信息...
凤凰网科技讯 1月15日，雷军再次直播谈新一代SU7。据了解，标准版、Pro版车型基于752V碳化硅...
英伟达投资初创公司Harmon...
IT之家 1 月 15 日消息，据 AXIOS 网站报道，芯片制造商英伟达（Nvidia）加入了投资...