torchtext0.14 实践手册(0.12版本同理)
admin
2024-03-16 05:35:08
0次

文章目录

  • 版本变迁介绍
  • 实践手册
    • 构建词典
      • 0.9版本
      • 0.14版本
      • 总结
    • 构建迭代器
      • 0.9版本
      • 0.14版本
      • 总结
    • 使用预训练词向量
      • 0.9版本
      • 0.14版本
      • 总结

版本变迁介绍

torchtext的API有过两次较大变动:

  • 第一次是在0.9,将一些类库移入了legacy目录。对代码的影响是,import torchtext.data要改成import torchtext.legacy.data
  • 第二次是在0.12,将legacy目录移除,并提供了新的API。对代码的影响是,很多原本在legacy目录中的接口都废弃了,要重新构建代码逻辑。

实践手册

接下来,介绍使用tochtext0.14的各种步骤时的做法。本文会在介绍每一个做法时,对比两个版本下的具体代码,帮助读者更好地从旧版API的思维迁移到新API。

构建词典

假设输入是一个pands Dataframe对象train_df:

train_df = pd.read_csv("processed_data/train.csv")

0.9版本

原本的做法如下。
首先创建Field

TEXT = data.Field(tokenize = 'spacy', include_lengths = True)
LABEL = data.LabelField(dtype = torch.float)fields = [('text',TEXT), ('label',LABEL)]

再创建torchtext Dataset。DataFrameDataset继承了torchtext.legacy.data.Dataset,其实现复制于github/lextoumbourou。

train_ds, val_ds = DataFrameDataset.splits(fields, train_df=train_df, val_df=valid_df)

最后,传入数据集为参数调用Field::build_vocab,就构建词典了。

TEXT.build_vocab(train_ds,max_size = MAX_VOCAB_SIZE,vectors = 'glove.6B.200d',unk_init = torch.Tensor.zero_)LABEL.build_vocab(train_ds)

0.14版本

现在讲0.14版本。先定义分词函数yield_tokens,它使用spacy分词器对pandas Dataframe的每一行作分词操作。

这里用了yield语法,不懂的百度一下。

import spacy
spacy_tokenizer = spacy.load("en_core_web_sm")def yield_tokens(data_df):for _, row in data_df.iterrows():yield [token.text for token in spacy_tokenizer(row.text)]

然后调用build_vocab_from_iterator,传入回调函数yield_tokens,就构建好词典了。

vocab = build_vocab_from_iterator(yield_tokens(train_df), min_freq=5, specials=['', ''])
vocab.set_default_index(vocab[""])

有了这个词典,可以将单词和序号之间互相转换了。尝试输出一下itos和stoi:

print(vocab.get_itos()[:10])
print(vocab.get_stoi()[""], vocab.get_stoi()[""], vocab.get_stoi()["the"])

得到如下输出

['', '', 'URL', 'the', '?', 'a', 'to', 'in', 'i', 'of']
0 1 3

总结

  • 原本做分词时,是Field内置spacy分词器,现在是手动调用spacy分词操作,还得提供分词函数
  • 原本是用torchtext的Dataset,现在是用pytorch的Dataset(之后会用到)
  • 原本构建词典时,要先创建Field,再调用Field::build_vocab。现在不用这么冗杂,直接调用build_vocab_from_iterator即可。

构建迭代器

0.9版本

在构建迭代器时,原本是用torchtext的迭代器data.BucketIterator:

train_iterator, valid_iterator = data.BucketIterator.splits((train_ds, val_ds),batch_size = BATCH_SIZE,sort_within_batch = True,device = device)

它会尽可能让长度相近的句子放在一个batch。使用迭代器时,只需要for循环即可。

从batch读出text属性时,是两个参数:句子和它们的长度。这个tuple形式的返回值权且当做是特性吧。

for batch in train_iterator:text, text_lengths = batch.text...

0.14版本

在0.14版本里,读取数据只需要复用pytorch的原生接口Dataset。先定义一个DataFrameDataset,其实就是在pandas DataFrame上包了一层。复习Dataset接口可以先参考pytorch dataset dataloader。

class DataFrameDataset(Dataset):def __init__(self, content, label):self.content = contentself.label = labeldef __getitem__(self, index):return self.content[index], self.label[index]def __len__(self):return len(self.label)

然后定义train和valid数据集的Dataloader。传入参数有collate_batch函数,它会对每一批数据作预处理。该函数的实现比较自由,根据训练时的需要去实现即可,总之和原生的一样。

这里用到了python的partial语法,不懂的可以百度一下。

train_iter = DataFrameDataset(list(train_df['text']), list(train_df['target']))
train_loader = DataLoader(train_iter, batch_size=8, shuffle=True,collate_fn=partial(collate_batch, vocab=vocab, device=device))

这样,读取数据的时候,用for循环读出来就行。这里batch返回几个参数都由collate_batch的实现决定。

for batch in iterator:text, text_lengths, labels = batch

总结

在0.9版本里,必须定义data.BucketIterator才能读取数据。而到了0.14版本,只要复用pytorch原生的接口Dataset、DataLoader,并善用后者的collate_fn参数,就能读取批次数据了。

使用预训练词向量

为了做迁移学习,我们常常要用预训练的词向量,赋值给模型的词向量矩阵,完成初始化。torchtext提供了一些预训练的词库,比如Glove。在版本的变迁中,使用这些预训练向量的方法也在变化。

0.9版本

"使用预训练向量"原本创建词库时附带的功能。在调用Field::build_vocab构建词库之后,调用Field.vocab.vectors就能取到词库的向量矩阵了,然后就能赋值给模型:

pretrained_embeddings = TEXT.vocab.vectors
model.embedding.weight.data.copy_(pretrained_embeddings)

0.14版本

在0.14版本里,Field被移除了,在Vocab中也没找到vectors成员。但是,torchtext留了预训练词库(比如Glove),只要手动地读取向量,一行行地赋值到模型的词向量矩阵中,就能完成迁移学习的初始化了。

model = LSTM_net(INPUT_DIM,EMBEDDING_DIM,HIDDEN_DIM,OUTPUT_DIM,N_LAYERS,BIDIRECTIONAL,DROPOUT,PAD_IDX)...# 迁移学习glove预训练词向量
pretrained = torchtext.vocab.GloVe(name="6B", dim=200)
print(f"pretrained.vectors device: {pretrained.vectors.device}, shape: {pretrained.vectors.shape}")
for i, token in enumerate(vocab.get_itos()):model.embedding.weight.data[i] = pretrained.get_vecs_by_tokens(token)

这里有几处值得说明:

  • torchtext.vocab.GloVe是一个预训练词库,name=6B只是词库名前缀,dim=200代表希望加载向量长度为200的那个词库。如果想用其它名字的词库,可以自行百度一下。
  • vocab.get_itos()可以取得映射数组,完成序号->单词的映射。
  • pretrained.get_vecs_by_tokens(token)可以完成单词->词向量的映射。

总结

在0.9版本,当调用Field::build_vocab创建词库时,加载预训练词库的操作就顺带完成了。
到了0.14版本,预训练词库占用单独的接口,你需要显式地加载,再逐行赋值给模型的词向量矩阵。

0.14版本看起来麻烦一点,但代码并没有变得复杂,而且for循环效率其实不慢(因为0.9版本的实现里,Field也是用for循环从预训练词库读取向量,再赋值给成员矩阵的)

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...