解剖屎山,寻觅黄金之第二弹_天天微资讯
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(资料图片)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录
判断该Key在Redis的记录是否符合条件
符合条件的则去重,不符合条件的则重新塞进Redis更新记录
为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
推荐
- 解剖屎山,寻觅黄金之第二弹_天天微资讯
- 安靠智电(300617)5月16日主力资金净买入751.95万元
- 环球新动态:闲鱼卖二手也要收费了,大额高频用户每笔订单抽成 1%
- 世界热门:《少年王卫斯理》第二季21(千夜回来了)白奇伟芝麻续
- 即时看!光大同创(301387):股价5分钟涨速大于5%(05-16)
- 【天天报资讯】2023年成都拾野自然博物馆518免费开放吗?
- 我国12万人幽门螺杆菌(Hp)粪便核酸筛查数据发布
- 实时:盂兰节是哪一天 盂兰盆节是什么时候
- 苏迪曼杯两场爆冷!吴堇溦啃下硬骨头泪洒球场,东渡组合意外丢分 快看点
- 泪目!杨鸣:辽宁8强中经济最落后 辽篮是为生活打拼的普通人的灯塔-当前消息
- 【世界独家】摩拳擦掌是什么意思_摩拳擦掌的出处
- 简讯:中证转债指数开盘上涨0.07%,金23转债涨19.99%,搜特转债涨近4%,寿仙转债跌2.5%。
- a股和沪深有什么区别_深a股和沪a股的区别
- 世界观焦点:怀孕早期能吃黄桃罐头吗
- 风云三号G星首套图发布-每日视讯
- 出行信息早知道!河北最新天气预报、限行提示、高速路况请查收→
- 鲁信创投(600783):5月15日北向资金减持2.48万股
- Nutex Health(NUTX.US):2023年Q1财报实现营收5632.9万美元
- 我的世界:破碎 [第二十六章]-全球热资讯
- 环球速讯:过火石灰的成分_过火石灰
- 今日精选:【边伯贤/同人文】〖过期爱〗『8』
- 世界速递!南京轨道技术学院怎么样公办
- 优化“阶梯制” 蓄好“人才池”
- 焦点要闻:在家兼职手工活_在家手工
- 贝斯柯德是什么职业_贝斯柯德 环球快资讯
- 2023杭州水上巴士2号线游玩(时刻表+路线推荐) 全球独家
- 全球速递!山子股份澄清:目前ARC公司生产经营情况正常 与客户保持积极沟通合作
- 外媒:因没有候选人获超半数选票,土耳其大选将进入决选 世界速递
- 4D成像雷达,到底是不是汽车的未来 每日快播
- 【全球快播报】年轻人涌入 存款“特种兵”缘何被催生?
- 30亿落槌!太平寿险竞得浙商银行6.33%股份|天天聚看点
- 环球消息!方正电机(002196)5月15日主力资金净卖出159.20万元
- 今日热门!碍于人情趁“警察午休” 超员上高速被罚
- 信息的特征及例子英语_信息的特征及例子 今日观点
- 全球球精选!安吉大竹海景区门票加玻璃栈道门票_安吉大竹海景区简介
- 旺桃花摆件 桃木摆件有哪些
- 天天新动态:心形纪念币预约购买时间+价格+方式2023
- 实时:对标苹果iPad Air!华为MatePad Air真机首曝:LCD屏、骁龙888
- 环球热议:张家口市机关事务管理局关于节水进机关的倡议书
- 永和智控:截至目前 公司的N型TOPCon电池一期首片已顺利下线 全球新视野
- 省五一劳动奖章获得者王小栋:脚踏实地守护电网安全-即时
- 积极推动云南“双碳”经济转型-天天视点
- 新媒股份:与科大讯飞共建“XR创新实验室”
- 孟津区:“扫黄打非”净环境 “护苗爱苗”助成长
- 当前热文:最贵要超2万块!iPhone 15配置曝光:4800万摄像头起、欲标配8G内存
- 【机构调研记录】中金基金调研沃格光电、博士眼镜等3只个股(附名单)
- 央视节目表全部节目单_今天央视节目单-全球热头条
- 当前播报:顺丰做减法、极兔再跃进:丰网交易天平的两端
- 天天亮点!老店倒闭,不变必亡
- h3n8病毒是什么病毒_亲吻病是什么病毒-环球快报
- 北航举办第八届国际文化节,32国留学生展风采_信息
- 全球聚焦:关于星座的月份 阳历十一月是什么星座
- 每日热讯!卢尼:普尔的角色本赛季频繁变化 我一直试着给他帮助
- 颈椎贴膏药哪个牌子好_颈椎贴
- 环球今亮点!我不杀伯仁伯仁却因我而死这句话出自哪里_我不杀伯仁伯仁却因我而死什么意思
- word文档打开空白是怎么回事_word打开后空白
- 全球速讯:冰糖炖雪梨_冰糖炖雪梨txt
- 小米辟谣武汉总部35岁以上员工只保留10%|世界聚看点
- 不念过往是什么意思_不念过往的含义-环球关注
- 电脑手游模拟器哪个好用_手游模拟器哪个好用
- 据韩联社:三星电子会长李在镕本周早些时候在美国会见了马斯克。 世界聚焦
- 热问|业主装修拟砸非承重墙,必须由物业指定施工队吗?
- chariots of fire纯音乐_Chariots Of Fire
- 板上钉钉子_板上钉钉 世界热资讯
- OPPO关停哲库业务? 后续可能会发生的连锁效应
- 腊肉怎么做好吃家常做法?
- 每日焦点!中小银行利率或将优势不再 协定及通知存款自律上限本月15日全面下调 大额存款抢购潮持续
- 沈阳学区房资料_沈阳学区房|即时焦点
- 全球快看:新奇效应_关于新奇效应简介
- 环球最新:微信视频声音变了怎么调整 微信视频声音改变
- 七年过去了,任天堂始终没让 Switch 降价
- 热点!得利斯:截至5月10日,公司股东人数为56,457人
- 学生摔伤无人报警但满屏都是警 一群人护一个娃!网友:人间自有
- 如何查询高考录取状态(如何查询高考录取情况) 焦点
- 2023年江西高考考生报名注意事项正式公布|全球快播
- 第四届上海创新创业青年50人论坛将启 未来产业引领未来
- 7.5亿存款“消失”,这家房企将大股东告上公堂 世界实时
- 世界新动态:打好政策“组合拳” 山东济南跑出外贸“加速度”
- 许家印,成被执行人
- 快讯:北京2023年积分落户申报结束 106772人在线提交申请
- 夏日未至,杭城爱心茶摊却已上线!这位阿姨坚持了七年
- 驱逐令过期后,美国边境有多乱、乱多久|全球独家
- 特朗普竞选片抨拜登治下美国苦况,却用了乌克兰画面|全球消息
- 5/17青岛|2023青岛新型显示高峰论坛即将召开-环球消息
- sparkle是什么牌子(sparkles)_天天视点
- 世界新资讯:美股高开道指涨0.27% 叮咚买菜跌逾10%
- 世界快播:读书有感朱熹其一(读书有感朱熹)
- 世界快资讯丨英媒:热刺不再将纳格尔斯曼视为换帅候选
- 马来酸依那普利片副作用是什么_马来酸依那普利片的作用
- 休闲零食2022年报盘点:坚果炒货和卤制品业绩分化明显,线上线下全渠道发展已成共识-今日热讯
- 惠安县持续推进婴幼儿托育服务发展
- 两市主力资金净流出357亿元 公用事业等行业实现净流入
- 蓝山县召开5月份信访工作联席(扩大)会议
- 雅达股份:公司2022年度归母净利润4,300.26万元,较上年略有下降,主要是受到宏观经济环境变化、新冠疫情反复等因素影响,数据中心、地产等下游行业建设速度放缓,部分订单交付延期等原因所致-天天热消息
- 极米超级混光技术是什么意思?能否打赢市场引领者当贝投影仪
- 地球超临界流体组成研究获重要进展
- 婶可忍,叔不可忍!批完特斯拉“恶意降价”,继续批“恶意涨价”-全球信息
- 天天热消息:七里河区人民法院与兰州理工大学法学院开启院校深度合作新篇章
- 年入900亿,土味大卖场靠「破烂」拿捏年轻人 环球今热点
- 2023年多地上调公积金贷款额度 具体详情如下