python测试mysql写入性能完整实例
本文主要研究的是python测试mysql写入性能,分享了一则完整代码,具体介绍如下。
测试环境:
(1)阿里云服务器centos6.5
(2)2G内存
(3)普通硬盘
(4)mysql5.1.73数据库存储引擎为InnoDB
(5)python2.7
(6)客户端模块mysql.connector
测试方法:
(1)普通写入
(2)批量写入
(3)事务加批量写入
普通写入:
defordinary_insert(count): sql="insertintostu(name,age,class)values('testmysqlinsert',30,8)" foriinrange(count): cur.execute(sql)
批量写入,每次批量写入20条数据
defmany_insert(count): sql="insertintostu(name,age,class)values(%s,%s,%s)" loop=count/20 stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32)) #并不是元组里的数据越多越好 foriinrange(loop): cur.executemany(sql,stus)
事务加批量写入,每次批量写入20条数据,每20个批量写入作为一次事务提交
deftransaction_insert(count): sql="insertintostu(name,age,class)values(%s,%s,%s)" insert_lst=[] loop=count/20 stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32)) #并不是元组里的数据越多越好 foriinrange(loop): insert_lst.append((sql,stus)) iflen(insert_lst)==20: conn.start_transaction() foritemininsert_lst: cur.executemany(item[0],item[1]) conn.commit() print'0k' insert_lst=[] iflen(insert_lst)>0: conn.start_transaction() foritemininsert_lst: cur.executemany(item[0],item[1]) conn.commit()
实验结果如下
数量普通写入many写入事务加many写入 1万26.7s1.7s0.5s 10万266s19s5s 100万2553s165s49s
批量写入,相比于普通的多次写入,减少了网络传输次数,因而写入速度加快。
不论是单次写入还是批量写入,数据库内部都要开启一个事务以保证写入动作的完整,如果在应用层,我们自己开启事物,那么就可以避免每一次写入数据库自己都开启事务的开销,从而提升写入速度。
事务加批量写入速度大概是批量写入速度的3倍,是普通写入的50倍。
完整的测试代码如下:
#coding=utf-8 ''''' 采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致 采用批量写入时,由于减少了网络传输的次数因而速度加快 开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性 如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间 从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍 数量普通写入many写入事务加many写入 1万26.7s1.7s0.5s 10万266s19s5s 100万2553s165s49s 将autocommit设置为true,执行insert时会直接写入数据库,否则在execute插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度 此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB则支持事务 ''' importtime importsys importmysql.connector reload(sys) sys.setdefaultencoding('utf-8') config={ 'host':'127.0.0.1', 'port':3306, 'database':'testsql', 'user':'root', 'password':'sheng', 'charset':'utf8', 'use_unicode':True, 'get_warnings':True, 'autocommit':True } conn=mysql.connector.connect(**config) cur=conn.cursor() deftime_me(fn): def_wrapper(*args,**kwargs): start=time.time() fn(*args,**kwargs) seconds=time.time()-start printu"{func}函数每{count}条数数据写入耗时{sec}秒".format(func=fn.func_name,count=args[0],sec=seconds) return_wrapper #普通写入 @time_me defordinary_insert(count): sql="insertintostu(name,age,class)values('testmysqlinsert',30,8)" foriinrange(count): cur.execute(sql) #批量 @time_me defmany_insert(count): sql="insertintostu(name,age,class)values(%s,%s,%s)" loop=count/20 stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32)) #并不是元组里的数据越多越好 foriinrange(loop): cur.executemany(sql,stus) #事务加批量 @time_me deftransaction_insert(count): sql="insertintostu(name,age,class)values(%s,%s,%s)" insert_lst=[] loop=count/20 stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32) ,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32), ('testmysqlinsert',30,32),('testmysqlinsert',30,32)) #并不是元组里的数据越多越好 foriinrange(loop): insert_lst.append((sql,stus)) iflen(insert_lst)==20: conn.start_transaction() foritemininsert_lst: cur.executemany(item[0],item[1]) conn.commit() print'0k' insert_lst=[] iflen(insert_lst)>0: conn.start_transaction() foritemininsert_lst: cur.executemany(item[0],item[1]) conn.commit() deftest_insert(count): ordinary_insert(count) many_insert(count) transaction_insert(count) if__name__=='__main__': iflen(sys.argv)==2: loop=int(sys.argv[1]) test_insert(loop) else: printu'参数错误'
总结
以上就是本文关于python测试mysql写入性能完整实例的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!