用python 批量操作redis数据库
方法一:使用 pipeline
使用pipelining发送命令时,redisserver必须部分请求放到队列中(使用内存)执行完毕后一次性发送结果,在 pipeline使用期间,将“独占”链接,无法进行非“管道”类型的其他操作,直至pipeline关闭;如果pipeline的指令集很多很庞大,为了不影响其他操作(redis最大时间lua-time-limit默认是5s),可以使用其他新建新链接操作。批量操作如下:
importredis
r=redis.Redis(host='127.0.0.1',port=6379,password='1234567890')
withr.pipeline()asctx:
a=time.time()
ctx.hset('current',"time2",a)
ctx.hset('current',"time3",a)
res=ctx.execute()
print("result:",res)
使用pipeline以乐观锁的形式执行事务操作
#-*-coding:utf-8-*-
importredis
fromredisimportWatchError
fromconcurrent.futuresimportProcessPoolExecutor
r=redis.Redis(host='127.0.0.1',port=6379)
#减库存函数,循环直到减库存完成
#库存充足,减库存成功,返回True
#库存不足,减库存失败,返回False
defdecr_stock():
#python中redis事务是通过pipeline的封装实现的
withr.pipeline()aspipe:
whileTrue:
try:
#watch库存键,multi后如果该key被其他客户端改变,事务操作会抛出WatchError异常
pipe.watch('stock:count')
count=int(pipe.get('stock:count'))
ifcount>0:#有库存
#事务开始
pipe.multi()#multi判断watch监控的key是否被其他客户端改变
pipe.decr('stock:count')
#把命令推送过去
#execute返回命令执行结果列表,这里只有一个decr返回当前值
result=pipe.execute()[0]
print("result:",result)
returnTrue
else:
returnFalse
exceptWatchErrorase:
#打印WatchError异常,观察被watch锁住的情况
print(e.args)
finally:
pipe.unwatch()
defworker():
whileTrue:
#没有库存就退出
ifnotdecr_stock():
break
#实验开始
#设置库存为100
r.set("stock:count",100)
#多进程模拟多个客户端提交
withProcessPoolExecutor(max_workers=2)aspool:
for_inrange(10):
pool.submit(worker)
方法二:使用 register_script
分布执行,发送脚本到redis服务器,获取一个本次连接的一个调用句柄,根据此句柄可以无数次执行不同参数调用
importredis
importtime
r=redis.Redis(host='127.0.0.1',port=31320,password='12345678')
lua="""
localkey=KEYS[1]
localfield=ARGV[1]
localtimestamp_new=ARGV[2]
--gettimestampofthekeyinredis
localtimestamp_old=redis.call('hget',key,field)
--iftimestamp_old==nil,itmeansthekeyisnotexist
iftimestamp_old==nilortimestamp_old==falseortimestamp_new>timestamp_oldthen
redis.call('hset',key,field..1,timestamp_new)
--timestamp_new>timestamp_old
returnredis.pcall('hset',key,field,timestamp_new)
end
"""
cmd=r.register_script(lua)
cur_time=time.time()
cmd(keys=['current'],args=["time",cur_time])
register_script调用lua来实现,需要注意 redis.call(method,key,field)的返回值(nil,false,1),此处没有键值返回的是false。如果中间有错误,所有的语句不时不生效。
方法三:使用script_load和evalsha
简而言之,通过script_load发送给redis服务器,使加载lua脚本,并常驻内存,返回标志,通过evalsha按标志进行执行,此连接脱离本次redis客户端。
importredis
importtime
r=redis.Redis(host='127.0.0.1',port=31320,password='12345678')
lua="""
localkey=KEYS[1]
localfield=ARGV[1]
localtimestamp_new=ARGV[2]
--gettimestampofthekeyinredis
localtimestamp_old=redis.call('hget',key,field)
--iftimestamp_old==nil,itmeansthekeyisnotexist
iftimestamp_old==nilortimestamp_old==falseortimestamp_new>timestamp_oldthen
redis.call('hset',key,field..1,timestamp_new)
--timestamp_new>timestamp_old
returnredis.pcall('hset',key,field,timestamp_new)
end
"""
sha=r.script_load(lua)
print(r.evalsha(sha,1,'current','time',time.time()))
Redis管理Lua脚本:(Python下为script_...)
- scriptload
此命令用于将Lua脚本加载到Redis内存中
- scriptexists
scriptsexistssha1[sha1…]
此命令用于判断sha1是否已经加载到Redis内存中
- scriptflush
此命令用于清除Redis内存已经加载的所有Lua脚本,在执行scriptflush后,所有sha不复存在。
- scriptkill
此命令用于杀掉正在执行的Lua脚本。
方法四:eval
使用方法与方法三类似,但是eval是一次性请求,每次请求,必须携带lua脚本
以上就是用python批量操作redis数据库的详细内容,更多关于python批量操作redis数据库的资料请关注毛票票其它相关文章!
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。