前言
上周“被”上线了一个紧急项目,周五下班接到需求,周一开始思考解决方案,周三开发完成,周四走流程上线,也算是面向领导编程了。之前的项目里面由于是自运维,然后大多数又都赶时间,所以在处理定时任务上面基本都是自己在服务器上添加crontab,而不是让多个实例自己去处理定时任务的并发锁,并且Laravel 5.5开始自带并发锁,我们也快升级了。但是这次项目是Python项目,无奈只能自己实现一下,以下这个方案实现起来非常简单且易于理解。
import redis r = redis.Redis(...) last_heart = 0 # 记录上一次得到的锁心跳 free_lock_try = 6 # 锁无心跳的最大次数 while not r.setnx('mylock', 1): now_heart = r.get('mylock') print(f"没获取到锁,now_heart={now_heart},last_heart={last_heart},free_lock_try={free_lock_try}") if now_heart == last_heart: free_lock_try = free_lock_try - 1 if free_lock_try == 0: # 锁已经1分钟没有心跳了 old_heart = r.getset('mylock', 1) # 将lock重置为1,并返回set之前的心跳值 if old_heart < now_heart: time.sleep(10) continue else: break # 成功获取到锁,退出循环 else: free_lock_try = 6 # 锁有心跳,重置free_lock_try值 last_heart = now_heart time.sleep(10) def producer_exit(): """程序正常退出时候自动清理锁""" r.delete('mylock') import atexit atexit.register(producer_exit) # 业务代码 while True: r.incr('mylock') # 让锁心跳加一 ...
我们来看看这段程序都解决了并发锁中的哪些问题
- 高并发下,多个进程无法同时获取到锁。这里使用的是redis.setnx,如果锁已经存在,其他进程是无法重置锁并获取到锁的。另外当多个进程同时发现有锁已经没有心跳了,使用的是redis.getset将心跳重置为1,都能set成功,但是get出来的值多个进程是不一样的,只有真正获取到锁的进程返回的是之前进程的心跳,而其他进程获取到的都是1。
- 有锁进程正常退出,可以使用atexit注册进程退出函数删除锁,这里也可以不要,不过下次启动得等新的进程等待几次心跳
- 有锁进程意外退出,退出后心跳不再增加,超过free_lock_try次数后,其他进程会重新设置并获取锁
- 所有进程全都意外退出,这个问题不是锁来关心的,可以使用supervisor进行守护进程。
导致Redis并发原因解释
正所谓只有知其然才能知其所以然,只有弄明白问题出现的原因所在,才能对症下药,寻找解决问题的良方。众所周知,Redis程序采用单线程模式进行运行,作为单线程程序,Redis客户端的命令是逐条执行,也叫做One by One执行。既然是逐条命令执行,从表面上来看Redis似乎不存在高并发的问题,这一观点论也有道理,原子性的Redis命令本身也确实不存在高并发问题,这与多线程下的程序勃然不同。但是我们项目工作搭建Redis环境之后,通常都会是一组命令集合执行程序,一个请求中就包含了N个Redis执行命令,再加上多个客户端请求,命令就更多了,导致连接超时、数据混乱或错误、请求阻塞等多种问题。
即总结为,产生Redis并发诱因是程序中的业务复杂度导致。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
暂无评论...
更新日志
2024年05月20日
2024年05月20日
- 恋爱视觉小说游戏《机械恋心》上架Steam!本月发售
- 星穹铁道2.2匹诺康尼大剧院梦境迷钟解密合集 匹诺康尼大剧院迷钟修复攻略
- 中唱唱片群星《好歌珍藏-士兵旋律》2CDWAV
- 出发吧麦芬各职业特点解析 玩什么职业好
- 崩坏星穹铁道梦中之梦12平民满星攻略 梦中之梦12阵容搭配分享
- 《哈迪斯2》EA阶段至少持续到年底!此前将有重大更新
- 钟志刚《淡淡君情》24K金限量头版[低速原抓WAV+CUE]
- 金山游戏封神再临视频首曝 预计年内上线
- IGN分享PC《对马岛之魂》28分钟实机:极致的画面表现
- 钟明秋《是时候HQ》头版限量编号[低速原抓WAV分轨]
- 蜀门手游五月大服龙城飞将开启 全新大逃杀玩法上线
- 崩坏星穹铁道平民神主日怎么打 神主日萌新通关攻略
- 赵传《我是一只小小鸟》日本东芝1A1版 [WAV+CUE][435M]
- 庄达菲《东张西望》[320K/MP3][40.28MB]
- 庄达菲《东张西望》[24bit 48kHz][FLAC/分轨][288.46MB]