pytorch下使用LSTM神经网络写诗实例

2023-08-03 03:25:04 227

在pytorch下，以数万首唐诗为素材，训练双层LSTM神经网络，使其能够以唐诗的方式写诗。

代码结构分为四部分，分别为

1.model.py，定义了双层LSTM模型

2.data.py，定义了从网上得到的唐诗数据的处理方法

3.utlis.py定义了损失可视化的函数

4.main.py定义了模型参数，以及训练、唐诗生成函数。

参考：电子工业出版社的《深度学习框架PyTorch：入门与实践》第九章

main代码及注释如下

importsys,os
importtorchast
fromdataimportget_data
frommodelimportPoetryModel
fromtorchimportnn
fromtorch.autogradimportVariable
fromutilsimportVisualizer
importtqdm
fromtorchnetimportmeter
importipdb

classConfig(object):
	data_path='data/'
	pickle_path='tang.npz'
	author=None
	constrain=None
	category='poet.tang'#orpoet.song
	lr=1e-3
	weight_decay=1e-4
	use_gpu=True
	epoch=20
	batch_size=128
	maxlen=125
	plot_every=20
	#use_env=True#是否使用visodm
	env='poety'
	#visdomenv
	max_gen_len=200
	debug_file='/tmp/debugp'
	model_path=None
	prefix_words='细雨鱼儿出，微风燕子斜。'
	#不是诗歌组成部分，是意境
	start_words='闲云潭影日悠悠'
	#诗歌开始
	acrostic=False
	#是否藏头
	model_prefix='checkpoints/tang'
	#模型保存路径
opt=Config()

defgenerate(model,start_words,ix2word,word2ix,prefix_words=None):
	'''
	给定几个词，根据这几个词接着生成一首完整的诗歌
	'''
	results=list(start_words)
	start_word_len=len(start_words)
	#手动设置第一个词为
	#这个地方有问题，最后需要再看一下
	input=Variable(t.Tensor([word2ix['']]).view(1,1).long())
	ifopt.use_gpu:input=input.cuda()
	hidden=None
	
	ifprefix_words:
		forwordinprefix_words:
			output,hidden=model(input,hidden)
			#下边这句话是为了把input变成1*1？
			input=Variable(input.data.new([word2ix[word]])).view(1,1)
	foriinrange(opt.max_gen_len):
		output,hidden=model(input,hidden)
		
		ifi':
			delresults[-1]#-1的意思是倒数第一个
			break
	returnresults

defgen_acrostic(model,start_words,ix2word,word2ix,prefix_words=None):
'''
生成藏头诗
start_words:u'深度学习'
生成：
深木通中岳，青苔半日脂。
度山分地险，逆浪到南巴。
学道兵犹毒，当时燕不移。
习根通古岸，开镜出清羸。
'''
results=[]
start_word_len=len(start_words)
input=Variable(t.Tensor([word2ix['']]).view(1,1).long())
ifopt.use_gpu:input=input.cuda()
hidden=None

index=0#用来指示已经生成了多少句藏头诗
#上一个词
pre_word=''

ifprefix_words:
forwordinprefix_words:
output,hidden=model(input,hidden)
input=Variable(input.data.new([word2ix[word]])).view(1,1)

foriinrange(opt.max_gen_len):
output,hidden=model(input,hidden)
top_index=output.data[0].topk(1)[1][0]
w=ix2word[top_index]

if(pre_wordin{u'。',u'！',''}):
#如果遇到句号，藏头的词送进去生成

ifindex==start_word_len:
#如果生成的诗歌已经包含全部藏头的词，则结束
break
else:
#把藏头的词作为输入送入模型
w=start_words[index]
index+=1
input=Variable(input.data.new([word2ix[w]])).view(1,1)
else:
#否则的话，把上一次预测是词作为下一个词输入
input=Variable(input.data.new([word2ix[w]])).view(1,1)
results.append(w)
pre_word=w
returnresults

deftrain(**kwargs):
	
	fork,vinkwargs.items():
		setattr(opt,k,v)#设置apt里属性的值
	vis=Visualizer(env=opt.env)
	
	#获取数据
	data,word2ix,ix2word=get_data(opt)#get_data是data.py里的函数
	data=t.from_numpy(data)
	#这个地方出错了，是大写的L
	dataloader=t.utils.data.DataLoader(data,
					batch_size=opt.batch_size,
					shuffle=True,
					num_workers=1)#在python里，这样写程序可以吗？
#模型定义
	model=PoetryModel(len(word2ix),128,256)
	optimizer=t.optim.Adam(model.parameters(),lr=opt.lr)
	criterion=nn.CrossEntropyLoss()

	ifopt.model_path:
		model.load_state_dict(t.load(opt.model_path))
	ifopt.use_gpu:
		model.cuda()
		criterion.cuda()
		
	#Thetnt.AverageValueMetermeasuresandreturnstheaveragevalue
	#andthestandarddeviationofanycollectionofnumbersthatare
	#addedtoit.Itisuseful,forinstance,tomeasuretheaverage
	#lossoveracollectionofexamples.

#Theadd()functionexpectsasinputaLuanumbervalue,which
#isthevaluethatneedstobeaddedtothelistofvaluesto
#average.Italsotakesasinputanoptionalparameternthat
#assignsaweighttovalueintheaverage,inordertofacilitate
#computingweightedaverages(default=1).

#Thetnt.AverageValueMeterhasnoparameterstobesetatinitializationtime.
	loss_meter=meter.AverageValueMeter()
	
	forepochinrange(opt.epoch):
		loss_meter.reset()
		forii,data_intqdm.tqdm(enumerate(dataloader)):
			#tqdm是python中的进度条
			#训练
			data_=data_.long().transpose(1,0).contiguous()
			#上边一句话，把data_变成long类型，把1维和0维转置，把内存调成连续的
			ifopt.use_gpu:data_=data_.cuda()
			optimizer.zero_grad()
			input_,target=Variable(data_[:-1,:]),Variable(data_[1:,:])
			#上边一句，将输入的诗句错开一个字，形成训练和目标
			output,_=model(input_)
			loss=criterion(output,target.view(-1))
			loss.backward()
			optimizer.step()
			
			loss_meter.add(loss.data[0])#为什么是data[0]?
			
			#可视化用到的是utlis.py里的函数
			if(1+ii)%opt.plot_every==0:
				
				ifos.path.exists(opt.debug_file):
					ipdb.set_trace()
				vis.plot('loss',loss_meter.value()[0])
				
				#下面是对目前模型情况的测试，诗歌原文
				poetrys=[[ix2word[_word]for_wordindata_[:,_iii]]
									for_iiiinrange(data_.size(1))][:16]
				#上面句子嵌套了两个循环，主要是将诗歌索引的前十六个字变成原文
				vis.text('
'.join([''.join(poetry)forpoetryin
				poetrys]),win=u'origin_poem')
				gen_poetries=[]
				#分别以以下几个字作为诗歌的第一个字，生成8首诗
				forwordinlist(u'春江花月夜凉如水'):
					gen_poetry=''.join(generate(model,word,ix2word,word2ix))
					gen_poetries.append(gen_poetry)
				vis.text('
'.join([''.join(poetry)forpoetryin
				gen_poetries]),win=u'gen_poem')
		t.save(model.state_dict(),'%s_%s.pth'%(opt.model_prefix,epoch))

defgen(**kwargs):
	'''
	提供命令行接口，用以生成相应的诗
	'''
	
	fork,vinkwargs.items():
		setattr(opt,k,v)
	data,word2ix,ix2word=get_data(opt)
	model=PoetryModel(len(word2ix),128,256)
	map_location=lambdas,l:s
	#上边句子里的map_location是在load里用的，用以加载到指定的CPU或GPU，
	#上边句子的意思是将模型加载到默认的GPU上
	state_dict=t.load(opt.model_path,map_location=map_location)
	model.load_state_dict(state_dict)
	
	ifopt.use_gpu:
		model.cuda()
	ifsys.version_info.major==3:
		ifopt.start_words.insprintable():
			start_words=opt.start_words
			prefix_words=opt.prefix_wordsifopt.prefix_wordselseNone
		else:
			start_words=opt.start_words.encode('ascii',\
			'surrogateescape').decode('utf8')
			prefix_words=opt.prefix_words.encode('ascii',\
			'surrogateescape').decode('utf8')ifopt.prefix_wordselseNone
		start_words=start_words.replace(',',u'，')\
											.replace('.',u'。')\
											.replace('?',u'？')
		gen_poetry=gen_acrosticifopt.acrosticelsegenerate
		result=gen_poetry(model,start_words,ix2word,word2ix,prefix_words)
		print(''.join(result))
if__name__=='__main__':
	importfire
	fire.Fire()

以上代码给我一些经验，

1.了解python的编程方式，如空格、换行等；进一步了解python的各个基本模块；

2.可能出的错误：函数名写错，大小写，变量名写错，括号不全。

3.对cuda()的用法有了进一步认识；

4.学会了调试程序（fire）；

5.学会了训练结果的可视化（visdom）；

6.进一步的了解了LSTM，对深度学习的架构、实现有了宏观把控。

这篇pytorch下使用LSTM神经网络写诗实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

pytorch下使用LSTM神经网络写诗实例

热门推荐

随机推荐