PyTorch深度学习实践——加载数据集
admin
2024-02-11 04:50:16
0

参考资料

参考资料1:https://blog.csdn.net/bit452/article/details/109686474
参考资料2:http://biranda.top/Pytorch%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0009%E2%80%94%E2%80%94%E5%85%B3%E4%BA%8E%E6%95%B0%E6%8D%AE%E9%9B%86/#%E6%95%B0%E6%8D%AE%E9%9B%86

加载数据集

#Definition: Epoch   One forward pass and one backward pass of all the training examples.
#Definition: Batch-Size   The number of training examples in one forward backward pass.
#Definition: Iteration   Number of passes, each pass(传递) using [batch size] number of examples.
#例如有10000 个样本, Batch—Size为1000,Iteration为10import torch
import numpy as np
#DataSet是抽象类,无法实例化
from torch.utils.data import Dataset
#DataLoader可实例化
from torch.utils.data import DataLoaderclass DiabetesDataset(Dataset):def __init__(self,filepath):xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)#获得数据集长度self.len=xy.shape[0] #shape(多少行,多少列)self.x_data = torch.from_numpy(xy[:, :-1]) #取所有行,除最后一列的所有列self.y_data = torch.from_numpy(xy[:, [-1]])#取所有行,和最后一列#↓要实现__getitem__和__len__,不然DataLoader时会报错。#获得索引方法def __getitem__(self, index):return self.x_data[index], self.y_data[index] #return x,y 相当于返回元组(x,y)#获得数据集长度def __len__(self):return self.lendataset = DiabetesDataset('../diabetes.csv')
#num_workers表示多线程的读取
train_loader = DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=2)# batch_size是batch数量,shuffle是是否打乱顺序,num_workers是设计几个线程class Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.linear1 = torch.nn.Linear(8, 6)self.linear2 = torch.nn.Linear(6, 4)self.linear3 = torch.nn.Linear(4, 1)self.sigmoid = torch.nn.Sigmoid()def forward(self, x):x = self.sigmoid(self.linear1(x))x = self.sigmoid(self.linear2(x))x = self.sigmoid(self.linear3(x))return xmodel = Model()criterion = torch.nn.BCELoss(reduction='mean')optimizer = torch.optim.SGD(model.parameters(), lr=0.1)#在windows中利用多线程读取,需要将主程序(对数据操作的程序)封装到函数中.这里不加main的话,会报错
#如果设置了num_workers之后,会出现运行时错误,需要将其封装到函数里面或者if语句里面,比如这里加上了if __name__ =='__main__':就不报错了
if __name__ =='__main__':for epoch in range(100):#enumerate:可获得当前迭代的次数for i,data in enumerate(train_loader,0):#enumerate中的o是指起始位置(下标)为0,即i从0开始,i=0,1,2......#准备数据dataloader会将按batch_size返回的数据整合成矩阵加载inputs, labels = data#input.shape=([32, 8]),最后一次是([23, 8])print(inputs.shape)#前馈y_pred = model(inputs)loss = criterion(y_pred, labels)print(epoch, i, loss.item())#反向传播optimizer.zero_grad()loss.backward()#更新optimizer.step()

相关内容

热门资讯

陕西农信陈仓联社:深耕本土惠民... 为持续优化辖区支付服务生态,完善本地便民消费场景,切实解决商户经营收款痛点、提升群众消费支付体验,陈...
又一家公司AI优先,裁员20%... 多知5月9日消息,美国科技企业 Cloudflare 周四在2026年Q1分析师电话会议上宣布裁员 ...
钟可祥任厦门钨业董事长 天眼查App显示,近日,厦门钨业(600549)发生工商变更,黄长庚卸任法定代表人、董事长,由钟可祥...
南昌第五医院甲状腺科江辉:甲状... 请教一下,我已在一侧甲状腺切除手术后过去了半个月,如今是否可以适量食用海参、鱼、虾、蟹? 答:鉴于甲...
原创 今... 5月9日这波金价,得跟大伙唠唠,放在近15年行情里算少见,以前2011年欧债危机、2020年全球避险...
华芢生物港股上市后首份年报:暂... 3月30日,华芢生物科技(青岛)股份有限公司发布了自2025年12月登陆港交所以来的第一份年度业绩报...
侃财邦|“双豆CP”,老少皆宜... 提到手作消费,你想到的还是商场里供儿童娱乐的石膏娃娃、沙画?如今,拼豆、豆荚娃娃这对“双豆CP”,已...
中外专家热议将海南自贸港打造成... 2026年5月8日下午,由中国日报社、中国(海南)改革发展研究院联合主办的2026 RCEP区域发展...
原创 割... 现在的消费市场,总有层出不穷的新噱头,专门瞄准年轻人的钱包。你有没有发现,最近不管是写字楼的茶水间,...
阿里 京东 字节三大互联网巨头... 在数字经济深度渗透的当下,互联网企业与物流供应链的融合已成为驱动行业高质量发展的核心引擎,二者的协同...
2026年5月更新:上海高价红... 在高端消费与资产配置领域,红酒,尤其是名庄酒,早已超越了单纯的饮品范畴,成为一种具有收藏价值与**属...
2000-2023年上市公司融... 上市公司融资结构是指企业在筹集资金时,不同融资方式的构成及其比例关系。这通常涵盖内源融资与外源融资两...
苏州银行:不断调优信贷结构 争... 来源:上海证券报·中国证券网 上证报中国证券网讯 苏州银行5月8日晚间发布最新的机构调研纪要。该行今...
黄红日就任民生银行首席合规官 上证报中国证券网讯(记者 张琼斯)民生银行5月8日发布的关于首席合规官任职资格获国家金融监督管理总局...
文化和旅游部公布2026年第二...   原标题:旅游市场强制消费问题典型案例(2026年第二批)   “纠治旅游行业导游乱象、强制消费等...
7室5厅6卫,恒大原总裁豪宅被... 近日,广州市天河区清风南街11号的一套428平方米复式楼,被广州天河区人民法院在阿里法拍网挂拍,起拍...
原创 6... 俄罗斯于5月9日在莫斯科红场举行的反法西斯战争胜利81周年阅兵仪式吸引了全球的目光。这不仅仅是一场军...
庆祝5·12国际护士节系列活动... 新闻 为庆祝5·12国际护士节,我院护理部组织各专业护理骨干开展系列护理健康科普义诊活动。 庆祝护士...
合肥贵金属回收商家深度测评:资... 一、行业背景与测评方法论 据《2025年中国二手奢侈品及贵金属回收市场白皮书》数据显示,2025年全...
2026国内正规现货黄金交易平... 步入2026年第二季度,全球货币政策的转向与地缘经济的重构,使得现货黄金的避险属性再度成为财富管理的...