ThreadPool + asyncio проблема

Question

ThreadPool + asyncio проблема

Рейтинг: 0Ответов: 1Опубликовано: 22.02.2023

from concurrent.futures import ThreadPoolExecutor
import threading
import asyncio

thread = ThreadPoolExecutor(max_workers=4)

# Функция для печати числа
async def print_number(number):
    print(f"My function is running in thread {threading.get_ident()}")
    print(number)


async def add_thread(task, number):
    future = thread.submit(task, number)
    return await asyncio.wrap_future(future)
    
async def main():
    print(f"main function is running in thread {threading.get_ident()}")
    for i in range(10):
        results = await add_thread(print_number, i)
        asyncio.create_task(results)
    
asyncio.run(main())

почему функция print_number выполняется в одном основном потоке? мне нужно что бы она выполнялась в отдельных потоках

python многопоточность asyncio

Источник: Stack Overflow на русском

Answer 1

▲ 0Принят

Она выполняется в разных, но основной тред дожидается её исполнения. Следующий таск попадает в тот же тред потому как он освободился.

Исключите await в основном треде (заменив на wait, например) и будет то как Вы хотите.

Вторая ошибка - ThreadPoolExecutor не принимает корутины. В этом нет смысла: из-за GIL корутины в основном треде будут исполнятся за то же время. Но если очень хочется, то asyncio.run

from concurrent.futures import ThreadPoolExecutor
import threading
import asyncio

thread = ThreadPoolExecutor(max_workers=4)

# Функция для печати числа
async def print_number(number):
    print(f"My function is running in thread {threading.get_ident()}")
    print(number)


def add_thread(task, number):
    future = thread.submit(asyncio.run, task(number))
    return future
    
async def main():
    print(f"main function is running in thread {threading.get_ident()}")
    results = []
    for i in range(10):
        results.append(add_thread(print_number, i))
    asyncio.wait(results)
    
    
asyncio.run(main())

Плюс исправив мелкие ошибки получается

main function is running in thread 9600
My function is running in thread 3232
My function is running in thread 9164
0
2
My function is running in thread 9064
1
My function is running in thread 1828
3
My function is running in thread 3232
4
My function is running in thread 9064
6
My function is running in thread 9164
5
My function is running in thread 1828
7
My function is running in thread 3232
8
My function is running in thread 9164
9

Чтоб не создавать новый луп в треде каждый раз через asyncio.run, надо поиграться с параметром initializer, но это уже другая история.

ThreadPool + asyncio проблема

Ответы