专利名称:一种基于统一任务调度的数据处理方法及装置专利类型:发明专利发明人:胥磊,刘坤
申请号:CN201910583719.5申请日:20190628公开号:CN110471774A公开日:20191119
摘要:本发明公开了一种基于统一任务调度的数据处理方法及装置,该方法包括:接收待处理数据,提取待处理数据的业务主键,将待处理数据以及业务主键存储于临时表中;统一调度任务定时从临时表中抽取若干待处理数据,将若干待处理数据存入与统一调度任务对应的redis订阅队列中;统一调度任务对redis订阅队列执行如下操作,直至redis订阅队列中的待处理数据全部处理完成:从redis订阅队列中每次抽取一条待处理数据,并根据业务主键获取共享锁;对抽取出的待处理数据进行处理,处理成功后释放共享锁,并将处理完成的待处理数据从临时表中移除。本发明通过采用redis的订阅队列和共享锁配合使用,避免高并发场景下数据并发覆盖问题和单条数据的重复处理问题。
申请人:苏宁云计算有限公司
地址:210000 江苏省南京市玄武区徐庄软件园苏宁大道1-1号
国籍:CN
代理机构:北京市万慧达律师事务所
代理人:张慧娟
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- yule263.com 版权所有 湘ICP备2023023988号-1
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务