python实现数据库跨服务器迁移
基于Python2.7的版本环境,Python实现的数据库跨服务器(跨库)迁移,每以5000条一查询一提交,代码中可以自行更改每次查询提交数目.
#-*-coding:utf-8-*- importMySQLdb importtime importwarnings warnings.filterwarnings("ignore") classConnectMysql(object): def__init__(self): #这里设置分页查询,每页查询多少数据 self.page_size=5000 defgetTable(self): conn=MySQLdb.connect( host="***.***.**.**", user="****", passwd="*************", db='****', charset='utf8' ) conn_local=MySQLdb.connect( host="********************************", user="**********", passwd="********", db='*******', charset='utf8' ) cur=conn.cursor() cur_local=conn_local.cursor() cur.execute('showtables') tables=cur.fetchall() fortableintables: printstr(table[0]).lower() #需要迁移的数据库查询表的列数 cur.execute("SELECTCOUNT(*)FROMinformation_schema.COLUMNSWHEREtable_schema='china'ANDtable_name='"+table[0]+"'") table_col_count=cur.fetchone() #printtable_col_count[0] #需要迁移的数据库查询表的结构 cur.execute('showcreatetable'+table[0]) result=cur.fetchall() create_sql=result[0][1] #查询需要迁移的数据库表的数据条数 cur.execute('selectcount(*)from'+table[0]) total=cur.fetchone() page=total[0]/self.page_size page1=total[0]%self.page_size ifpage1!=0: page=page+1 #阿里云数据库创建表 cur_local.execute("SELECTtable_nameFROMinformation_schema.`TABLES`WHEREtable_schema='user'ANDtable_name='"+str(table[0]).lower()+"'") table_name=cur_local.fetchone() iftable_nameisNone: cur_local.execute(create_sql) forpinrange(0,page): whileTrue: try: print'开始',table[0],'的第',p+1,'页查询' ifp==0: limit_param='limit'+str(p*self.page_size)+','+str(self.page_size) else: limit_param='limit'+str(p*self.page_size+1)+','+str(self.page_size) cur.execute('select*from'+table[0]+limit_param) inserts=cur.fetchall() print'查询成功' param='' foriinrange(0,table_col_count[0]): param=param+'%s,' print'开始插入' cur_local.executemany('replaceinto'+table[0]+'values('+param[0:-1]+')',inserts) printtable[0],'的第',p+1,'页,插入完成,还有',page-p-1,'页,任重而道远' conn_local.commit() break exceptExceptionase: printe time.sleep(60) cur=conn.cursor() cur_local=conn_local.cursor() printtable[0],'插入完成' print'\n\n========================================================================\n\n' cur_local.close() conn_local.close() cur.close() conn.close() if__name__=='__main__': conn_mysql=ConnectMysql() conn_mysql.getTable()
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。