PyTorch深度学习实践——加载数据集
admin
2024-02-11 04:50:16
0

参考资料

参考资料1:https://blog.csdn.net/bit452/article/details/109686474
参考资料2:http://biranda.top/Pytorch%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0009%E2%80%94%E2%80%94%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E9%9B%86/#%E6%95%B0%E6%8D%AE%E9%9B%86

加载数据集

#Definition: Epoch   One forward pass and one backward pass of all the training examples.
#Definition: Batch-Size   The number of training examples in one forward backward pass.
#Definition: Iteration   Number of passes, each pass(传递) using [batch size] number of examples.
#例如有10000 个样本, Batch—Size为1000,Iteration为10import torch
import numpy as np
#DataSet是抽象类,无法实例化
from torch.utils.data import Dataset
#DataLoader可实例化
from torch.utils.data import DataLoaderclass DiabetesDataset(Dataset):def __init__(self,filepath):xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)#获得数据集长度self.len=xy.shape[0] #shape(多少行,多少列)self.x_data = torch.from_numpy(xy[:, :-1]) #取所有行,除最后一列的所有列self.y_data = torch.from_numpy(xy[:, [-1]])#取所有行,和最后一列#↓要实现__getitem__和__len__,不然DataLoader时会报错。#获得索引方法def __getitem__(self, index):return self.x_data[index], self.y_data[index] #return x,y 相当于返回元组(x,y)#获得数据集长度def __len__(self):return self.lendataset = DiabetesDataset('../diabetes.csv')
#num_workers表示多线程的读取
train_loader = DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=2)# batch_size是batch数量,shuffle是是否打乱顺序,num_workers是设计几个线程class Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.linear1 = torch.nn.Linear(8, 6)self.linear2 = torch.nn.Linear(6, 4)self.linear3 = torch.nn.Linear(4, 1)self.sigmoid = torch.nn.Sigmoid()def forward(self, x):x = self.sigmoid(self.linear1(x))x = self.sigmoid(self.linear2(x))x = self.sigmoid(self.linear3(x))return xmodel = Model()criterion = torch.nn.BCELoss(reduction='mean')optimizer = torch.optim.SGD(model.parameters(), lr=0.1)#在windows中利用多线程读取,需要将主程序(对数据操作的程序)封装到函数中.这里不加main的话,会报错
#如果设置了num_workers之后,会出现运行时错误,需要将其封装到函数里面或者if语句里面,比如这里加上了if __name__ =='__main__':就不报错了
if __name__ =='__main__':for epoch in range(100):#enumerate:可获得当前迭代的次数for i,data in enumerate(train_loader,0):#enumerate中的o是指起始位置(下标)为0,即i从0开始,i=0,1,2......#准备数据dataloader会将按batch_size返回的数据整合成矩阵加载inputs, labels = data#input.shape=([32, 8]),最后一次是([23, 8])print(inputs.shape)#前馈y_pred = model(inputs)loss = criterion(y_pred, labels)print(epoch, i, loss.item())#反向传播optimizer.zero_grad()loss.backward()#更新optimizer.step()

相关内容

热门资讯

荠菜是营养丰富的野菜 荠菜,又叫地地菜、芨菜、香善菜等。它含有丰富的营养。据化学分析:每公斤荠菜中约含蛋白质42.4克,糖...
原创 章... 2026年年初,互联网行业发生了两件很有意思的事。 一件是章泽天做了档播客,取名“小天章”。第一期视...
餐谋长 | 一个饮食习惯悄悄增... “全家围坐共餐”是多数家庭的生活常态,不少人将其视为团圆的象征,却忽视了不分餐、共用餐具带来的健康隐...
原创 朋... 在晨曦初破的宁静中,我们迎来了新的一天。如同诗人般,我愿以文字为笔,绘出一幅幅清晨正能量的经典画面。...
爱芯元智通过港交所聆讯 有望成... 本报讯 (记者梁傲男)1月25日,中国边缘AI芯片领军企业爱芯元智半导体股份有限公司(以下简称“爱芯...
002155,披露重大资产重组... 湖南黄金拟收购黄金天岳100%股权及中南冶炼100%股权,进一步完善产业布局。 同时,公司拟向不超过...
德力佳拟50亿元投建10兆瓦以... 【大河财立方消息】1月25日,德力佳传动科技(江苏)股份有限公司(简称德力佳)公告称,公司与无锡宛山...
特朗普的“中选经济强心针”:超... 美国消费者即将迎来一场规模空前的“现金雨”。 据追风交易台,根据摩根士丹利1月23日发布的最新研报,...
2025年IPO数据报告-投中... 2025 年中国企业 IPO 市场呈现止跌回升态势,全球范围内 294 家中国企业成功上市,IPO ...
山西银行锚定未来战略定位和经营... 文 | 中国金融网(CFN) 黄瑾 2026年1月下旬,山西银行密集召开2026年度工作会议、202...
思林杰并购告吹背后:对价砍了又... 深圳商报·读创客户端记者 梁佳彤 1月25日,思林杰(688115)发布公告称,公司分别召开第二届...
原创 昨... 特朗普批评加拿大被中国“吞食”,称关税将征收100%并嘲讽其“州长”,暴露霸权主义虚伪。 昨晚,特...
威尔鑫点金·׀ 美元因烽火戏诸... 美元因烽火戏诸侯遭遇重锤 金银再续强势逼空 2026年01月25日 威尔鑫投资咨询研究中心 (文...
钻石的眼泪,白银的沉默:当克拉... 钻戒的浪漫,是一场昂贵的误会? 那颗闪闪发光的石头,承载了多少海誓山盟。你以为买下的是一份永恒,一份...
贾国龙最新发声!“将回归一线,... 据媒体报道,西贝餐饮集团创始人贾国龙近日接受专访时表示,将回归一线、聚焦主业,不再打造个人IP。 贾...
阿里“平头哥”上市猜想引关注背... 上海浦东新区张江人工智能产业园内,一座灰橙交融的建筑静静矗立,平头哥半导体有限公司(以下简称平头哥)...
利好!千亿龙头完成金矿收购! 本报记者 肖艳青 1月25日晚间,洛阳栾川钼业集团股份有限公司(以下简称“洛阳钼业”)公告称,公司于...
原创 短... 刘阿姨大约从一年前开始断断续续出现腹痛、便秘症状,开始她没有当回事,觉得是胃肠道功能不好导致的,饮食...
旷达科技集团股份有限公司 第七... 证券代码:002516 证券简称:旷达科技 公告编号:2026-009 旷达科技集团股份有限公司 第...
原创 申... 离婚十三年,申通快递实控人被前夫追索分割财产。 作者 | 于婞 编辑丨高岩 来源 | 野马财经 19...