Проблема с авторизацией на сайте для асинхронного парсинга

Рейтинг: 0Ответов: 1Опубликовано: 16.03.2023

Одна проблема, нет авторизации на сайте, или она не проходит. Код тут, он просто не поместился в этом окне


В данный момент, авторизация позади, но код все равно не хочет работать сейчас он выглядит так, и выходит ошибка

  File "/home/kukuruzka-vitya/CODE/za_python/parsing/pars_university_first/pars_asin.py", line 218, in <module>
    main()
  File "/home/kukuruzka-vitya/CODE/za_python/parsing/pars_university_first/pars_asin.py", line 183, in main
    asyncio.run(gather_data())
  File "/usr/lib/python3.10/asyncio/runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "/usr/lib/python3.10/asyncio/base_events.py", line 646, in run_until_complete
    return future.result()
  File "/home/kukuruzka-vitya/CODE/za_python/parsing/pars_university_first/pars_asin.py", line 180, in gather_data
    await asyncio.gather(*tasks)
  File "/home/kukuruzka-vitya/CODE/za_python/parsing/pars_university_first/pars_asin.py", line 53, in get_page_data
    soup = BS(src, 'lxml')
  File "/usr/lib/python3/dist-packages/bs4/__init__.py", line 312, in __init__
    elif len(markup) <= 256 and (
TypeError: object of type '_RequestContextManager' has no len()
sys:1: RuntimeWarning: coroutine 'ClientSession._request' was never awaited```

Ответы

▲ 0Принят

Решение данной проблемы было проще чем казалось, во первых нужно было в headers добавить cookis, а так же у меня в коде были глупые повторы некоторых строк которые и не давали работать коду