Использование requests вместе с прокси

Рейтинг: 0Ответов: 0Опубликовано: 09.08.2023

У меня на компьютере настроено прокси и мне нужно парсить один сайт. Сайт открывается в браузере, но когда я хочу получить к нему доступ через requests, python выдает ошибку:

Traceback (most recent call last):
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connection.py", line 174, in _new_conn
    conn = connection.create_connection(
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\util\connection.py", line 95, in create_connection
    raise err
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\util\connection.py", line 85, in create_connection
    sock.connect(sa)
ConnectionRefusedError: [WinError 10061] Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 703, in urlopen
    httplib_response = self._make_request(
                       ^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 386, in _make_request
    self._validate_conn(conn)
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 1042, in _validate_conn
    conn.connect()
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connection.py", line 363, in connect
    self.sock = conn = self._new_conn()
                       ^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connection.py", line 186, in _new_conn
    raise NewConnectionError(
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x000001E9374CB150>: Failed to establish a new connection: [WinError 10061] Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\adapters.py", line 489, in send
    resp = conn.urlopen(
           ^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\connectionpool.py", line 787, in urlopen
    retries = retries.increment(
              ^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\urllib3\util\retry.py", line 592, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='www.tatar-inform.ru', port=443): Max retries exceeded with url: /news (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001E9374CB150>: Failed to establish a new connection: [WinError 10061] Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение'))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\Admin\Desktop\news collector\news aggregator\parsers\tatar_inform.py", line 104, in <module>
    parser.fix_last_new()
  File "C:\Users\Admin\Desktop\news collector\news aggregator\parsers\tatar_inform.py", line 42, in fix_last_new
    page = requests.get("https://www.tatar-inform.ru/news", stream = True, headers = self.__cookies)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\api.py", line 73, in get
    return request("get", url, params=params, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\api.py", line 59, in request
    return session.request(method=method, url=url, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\sessions.py", line 587, in request
    resp = self.send(prep, **send_kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\sessions.py", line 701, in send
    r = adapter.send(request, **kwargs)
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\Admin\AppData\Local\Programs\Python\Python311\Lib\site-packages\requests\adapters.py", line 565, in send
    raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='www.tatar-inform.ru', port=443): Max retries exceeded with url: /news (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001E9374CB150>: Failed to establish a new connection: [WinError 10061] Подключение не установлено, т.к. конечный компьютер отверг запрос на подключение'))

Вот мой код

header = {
              "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
              "Accept-Encoding": "gzip, deflate, br",
              "Accept-Language": "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
              "Connection": "keep-alive",
              "Cookie": "XSRF-TOKEN=eyJpdiI6IlEvUVk2eTlUMStPSjN3UVlQRm9jL3c9PSIsInZhbHVlIjoiaWpqKzh1akZKYmJhb01ld0hRYlkyU2xKdHR3ZU5Md1hoUEpraTZZSTAyQ0tHNm92a3dhYnFFeHNCaU53NFlleVdyKzcydm9GQW9MeFJmd0NiUXpLRVRidlpqd3BBeWlDUHl6dXNxck1OQnMyWjl0SUFFRG1ZMFNYVTFzajhZcDciLCJtYWMiOiJlM2I1OWRkYTc1ZjRmMWUwODY3M2Y5NmYwMDRjY2RhZWRlZWI3YjFjYzkwNzAxMjZiZTBiYjNlMDk0YmE5YmZmIn0%3D; novosti_tatarstana_i_kazani_tatar_inform_session=eyJpdiI6ImdPZ2xQemYvRXlwOUZPdXZJSklKdFE9PSIsInZhbHVlIjoiTWlGM1hwVmtKTFkycDdTaGxpWWVpQTZVRWJRNWtPUi9idGFSMkdTN09IU0RmSzFDdlBWeFVldDRGcW5SUERKblV0bnpDcUJ4RnRrZXpPMkJTSkZub2JXSnJoMlVMTEpNWmVPakFnL0E0NmdNZlVoeEg2dWlGYXpWRlV0UUM3NVciLCJtYWMiOiI3NDliZDFkOWM5NmNhZTQ5YWY4ODIyNmVmMjEwZjg4ODg2MmI0NmIxZjc5MTVkZTQ0ZDY2NzEyMjgyNzQ3ZGI1In0%3D; tmr_lvid=b99b2ef3121f4463087e8a8ab6e380bf; tmr_lvidTS=1691543998612; _ga_DTKSHPGD8B=GS1.1.1691543999.1.1.1691544016.0.0.0; _ga=GA1.1.1095026263.1691543999; tmr_detect=0%7C1691544018596",
              "Host": "www.tatar-inform.ru",
              "Sec-Fetch-Dest": "document",
              "Sec-Fetch-Mode": "navigate",
              "Sec-Fetch-Site": "none",
              "Sec-Fetch-User": "?1",
              "Upgrade-Insecure-Requests": "1",
              "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/116.0"
             }
page = requests.get("https://www.tatar-inform.ru/news", stream = True, headers = header)

Судя по ошибке прокси не пускает запрос, но при этом сайт можно открыть в браузере на этом же компьютере. В чем может быть проблема?

Ответы

Ответов пока нет.