知乎在使用 Tornado 时是如何异步处理耗时任务的？有没有可用的开源实现参 ...

lingai1383 · 发表于 2022-9-21 20:30:33

比如对用户发送EMAIL之类的任务。tornado的asynchronous装饰器实现的异步似乎不能满足大批量发送Email的需求？

1585659041 · 发表于 2022-9-21 20:45:08

我觉得这个和 tornado 没啥关系。tornado 的异步是指异步 IO，在连接挂起的时候不阻塞线程资源，而不是指其他的。像 Email 这样的耗时任务本身就是应该交给后端的独立进程的，芹菜才是做这类事情的吧。

流动的忧郁 · 发表于 2022-9-21 20:59:43

放入任务队列离线执行。可用的开源任务队列方案很多，Gearman, Celery, Resque, Beanstalkd, Kestrel 等，根据你的需要选择一款合适的即可。甚至最简单的直接放入 Redis 队列都行。有一点注意事项：如果任务队列是存储在内存中的话，记得做好队列和内存占用的监控。有可能队列的消费方挂掉了，但生产方一直在运作，导致任务堆积挤爆内存。

q5eo0ex1 · 发表于 2022-9-21 21:14:18

开线程似乎不太适合，不过Tornado提供AsyncHTTPClient和定时任务等支持，结合其他的后端服务器可以完成。

q5eo0ex1 · 发表于 2022-9-21 21:28:53

直接放到MCQ或类似的队列里，然后单独起程序进行发送吧

知乎在使用 Tornado 时是如何异步处理耗时任务的？有没有可用的开源实现参 ...

浏览过的版块