性能问答>【已结算】MQ积压严重,数据跑一次耗时太长,有什么建议的优化思路嘛?【赏金20元】>
11回复

【已结算】MQ积压严重,数据跑一次耗时太长,有什么建议的优化思路嘛?【赏金20元】



我们组有这样一个问题,有一个定时任务跑一次大概会有2亿条数据一条数据大概40kb大小,一次大概7.4TB多的数据,分布式任务50台机器需要刷新2个多小时,我们需要持久化,为了提高性能做了异步发送MQ到另外的机器来持久化,不过MQ积压严重,数据跑一次耗时太长,有什么建议的优化思路嘛?拆分消息会加剧业务处理的复杂度,目前我能想到的是加机器加带宽。

884 阅读
请先登录,查看11条精彩评论吧
快去登录吧,你将获得
  • 浏览更多精彩评论
  • 和开发者讨论交流,共同进步