Как ускорить ответы от API CHATGPT в телеграм боте?

Рейтинг: 2Ответов: 1Опубликовано: 15.02.2023

Имеется телеграм бот с api openai. Хочется сделать его для широкого круга пользователей, но бывает он одному человеку отвечает более 20 секунд и не смотря на то, что он написан на библиотеке aiogram, пока он не даст ответ, другими функциями бота пользоваться нельзя. как сделать ответ быстрым? Функция ответа представлена следующим образом:

    elif message.from_user.username not in ban_list:
        response = openai.Completion.create(
            model="text-davinci-003",
            prompt=message.text,
            temperature=0.5,
            max_tokens=1024,
            top_p=1.0,
            frequency_penalty=0,
            presence_penalty=0,
        )
        await message.answer(response['choices'][0]['text'])
python aiogram chatgpt-api gpt
Источник: Stack Overflow на русском

Ответы

▲ 3Принят
import openai
from aiogram import Bot, types
from aiogram.dispatcher import Dispatcher
from aiogram.utils import executor

bot = Bot(token="2145840652")
openai.api_key = 'f2yzRnGGH'
dp = Dispatcher(bot)

@dp.message_handler()
async def generate_response(message: types.Message):
        response = await openai.Completion.acreate(
            engine="text-davinci-003",
            prompt=message.text,
            temperature=0.5,
            max_tokens=1024,
            top_p=1.0,
            frequency_penalty=0,
            presence_penalty=0,
        )
        await message.answer(response['choices'][0]['text'])

if __name__ == "__main__":
    executor.start_polling(dp, skip_updates=True)