django批量导入xml数据
django后台批量导入数据
在生产环境中,往往数据不是几条或者几百条,那么举个例子,将公司所有员工员工号或者帐号密码导入进后台,那就不建议你去后台一条条记录去添加了
如何从xml中批量导入svn记录
第一步:
为数据建立模型
@python_2_unicode_compatible classSVNLog(models.Model): vision=models.IntegerField(verbose_name=u"修订版本",blank=False,null=False,) author=models.CharField(verbose_name=u"作者",max_length=60,blank=True,null=True) date=models.DateTimeField(verbose_name=u"修订时间",null=True) msg=models.TextField(verbose_name=u"注释消息",blank=False,null=False,default=u"") paths=models.TextField(verbose_name=u"影响的文件",blank=False,null=False,default=u"") created_time=models.DateTimeField(verbose_name=u"创建时间",auto_now_add=True,) update_time=models.DateTimeField(verbose_name=u"修改时间",auto_now=True,) classMeta: ordering=['revision'] def__str__(self): returnu'r%s'%(self.revisionoru"",)
既然建立好了模型,那我们再去建立接受我们xml文件的models
@python_2_unicode_compatible classImportLogFile(models.Model): LogFile=models.FileField(upload_to='LogFile') FileName=models.CharField(max_length=50,verbose_name=u'文件名') classMeta: ordering=['FileName'] def__str__(self): returnself.FileName
ok,以上代码我们定义好了数据和上传文件的model
同步数据库
pythonmanage.pymakemigrations pythonmanage.pymigrate
接着我们去修改admin.py让我们可以从后台上传文件,
classImportLogAdmin(admin.ModelAdmin): list_display=('LogFile','FileName',) list_filter=['FileName',] defsave_model(self,request,obj,form,change): re=super(YDImportLogAdmin,self).save_model(request,obj,form,change) update_svn_log(self,request,obj,change) returnre
注意上面代码里的save_model,这里才是关键,在这里我重写了ModelAdmin里的save_model方法
因为我们要把上传文件,读取文件,解析文件,操作数据库合为一步来操作,大家可以打开debug,在上传文件的时候,返回参数的obj里包括了文件上传的路径,这个路径也是下一步我们操作解析文件的关键,好了我们在这个app文件夹下新建一个utils.py用来操作我们操作文件和数据库的工具类,为了简单我写成了函数如下
先贴一下我们要测试的xml文件
<?xmlversion="1.0"encoding="UTF-8"?> <log> <logentry revision="2"> <author>qwert</author> <date>2016-09-27T07:16:37.396449Z</date> <paths> <path action="A" prop-mods="false" text-mods="true" kind="file">/aaa/README </path> </paths> <msg>20160927151630</msg> </logentry> <logentry revision="1"> <author>VisualSVNServer</author> <date>2016-09-20T05:03:12.861315Z</date> <paths> <path action="A" prop-mods="false" text-mods="false" kind="dir">/branches</path> <path action="A" prop-mods="false" text-mods="false" kind="dir">/tags</path> <path action="A" prop-mods="false" text-mods="false" kind="dir">/trunk</path> </paths> <msg>helloword</msg> </logentry> </log>
输出结果格式
r2|qwer|2016-09-2715:16:37+0800(二,2792016)|1line Changedpaths: A/xxx/README 20160927151630 ------------------------------------------------------------------------ r1|VisualSVNServer|2016-09-2013:03:12+0800(二,2092016)|1line Changedpaths: A/branches A/tags A/trunk Initialstructure. from.modelsimportSVNLog importxmltodict defupdate_svn_log(self,request,obj,change): headers=['r','a','d','m','p'] filepath=obj.LogFile.path xmlfile=xmltodict.parse(open(filepath,'r')) xml_logentry=xml.get('log').get('logentry') info_list=[] pathlist=[] sql_insert_list=[] sql_update_list=[] forjinxml: data_dict={} #getpath paths=j.get('paths').get('path') ifisinstance(paths,list): forpathinpaths: action=path.get('@action') pathtext=path.get('#text') pathtext=action+''+pathtext pathlist.append(pathtext) _filelist=u'\n'.join(pathlist) _paths=u"Changedpaths:\n{}".format(_filelist) print_paths else: _filelist=paths.get('@action')+''+paths.get('#text') _paths=u"Changedpaths:\n{}".format(_filelist) print_paths #getrevision vision=j.get('@vision') #getauth author=j.get('author') #getdate date=j.get('date') #getmsg msg=j.get('msg') data_dict[headers[0]]=int(vision) data_dict[headers[1]]=author data_dict[headers[2]]=date data_dict[headers[3]]=msg data_dict[headers[4]]=_paths info_list.append(data_dict) _svnlog=SVNLog.objects.filter().order_by('-vision').first() _last_version=_svnlog.visionif_svnlogelse0 forvalueininfo_list: vision=value['r'] author=value['a'] date=value['d'] msg=value['m'] paths=value['p'] printvision,author _svnlog=YDSVNLog.objects.filter().order_by('-revision').first() _last_version=_svnlog.revisionif_svnlogelse0 ifvision>_last_version: sql_insert_list.append(SVNLog(revision=revision,author=author,date=date,msg=msg,paths=paths)) else: sql_update_list.append(SVNLog(revision=revision,author=author,date=date,msg=msg,paths=paths)) SVNLog.objects.bulk_create(sql_insert_list) SVNLog.objects.bulk_create(sql_update_list)
我们使用的xmltodict这个第三方库来解析xml,他把内容解析成了高效率的orderdict类型,就是有序列的字典
这个xml中比较复杂的是那个paths里的path,因为这个xml中包含两个元素,第一个元素的path只含有一个path,第二个元素中的paths包含有三个path,因此我们在解析获取的时候需要判断一下
paths=j.get('paths').get('path') ifisinstance(paths,list): pass
我们判断这个path是不是一个list类型的,如果是,那我们就按照list的方式来处理,如果不是,那我们就按单个的方式来处理,获取之后按照输出结果格式处理下结果然后获取其他内容
revision=j.get('@vision') #getauth author=j.get('author') #getdate date=j.get('date') #getmsg msg=j.get('msg')
最后我们将获取到的元素存在字典里
在循环中判断当前的版本号和数据库中的版本号,
如果比原来的小,那么我们执行更新操作,反之执行插入操作
最后使用了bulk_create来操作数据库,这样避免了循环中每次都进行数据库操作造成的资源浪费