10. Celery 4.3.0 在task中执行多线程任务

小半 • 2022年9月28日下午9:12 • Python • 阅读 118

测试Celery任务能否使用多线程

在开发的调试过程中，发现如果在Django项目里面或者celery的task中使用协程gevent的话，使用monkey补丁的时候会报错。

那么尝试了很久，发现在celery中是可以执行多线程的，下面来演示一下执行的示例。

编写使用多线程的task

import threading
from time import sleep,ctime

def smoke():
    for i in range(3):
        print("smoke...%d"%i)
        sleep(10)

def drunk():
    for i in range(3):
        print("drink...%d"%i)
        sleep(10)


@celery_app.task
def test_use_thread():
    print('---开始---:%s' % ctime())

    t1 = threading.Thread(target=smoke)
    t2 = threading.Thread(target=drunk)

    t1.start()
    t2.start()

    while True:
        length = len(threading.enumerate())
        print("当前运行的线程数为:%d" % length)
        if length <= 1:
            break

        sleep(0.5)

    # sleep(5) #
    print('---结束---:%s' % ctime())

启动celery服务

celery -A celery_tasks worker -l info -P eventlet

在django项目的交互模式下执行多线程的task任务

In [1]: from celery_tasks.tasks import test_use_thread

In [2]: test_use_thread.delay()
Out[2]: <AsyncResult: 69bba7b0-3808-47f1-ad36-2fea75930901>

查看celery中的执行打印情况

可以看到任务顺利并发执行，也就是Celery虽然自身已经是异步任务，还是可以继续在task中使用多线程的。

原文始发于微信公众号（海洋的渔夫）：10. Celery 4.3.0 在task中执行多线程任务

文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/35194.html