Python Selenium undetected chromedriver - не работают прокси с авторизацией

Question

Python Selenium undetected chromedriver - не работают прокси с авторизацией

Рейтинг: 0Ответов: 1Опубликовано: 25.06.2023

Использую undetected chromedriver для обхода cloudflare. Мне необходимо, чтобы он работал из-под прокси, но все попытки сделать это провалились. Первая попытка (IP просто не меняется):

    import undetected_chromedriver as uc
    options = uc.ChromeOptions()
    ...
    ip,port,username,password = proxy.split(':')   #прокси в формате ip:port:username:password
    options.add_argument(f'--proxy-server=http://{username}:{password}@{ip}:{port}')
    driver = uc.Chrome(executable_path=ChromeDriverManager().install(), options=options)
    driver.get('https://2ip.ru/')

Вторая попытка (с использованием seleniumwire):

from seleniumwire import undetected_chromedriver as uc
...
ip,port,username,password = proxy.split(':')   #прокси в формате ip:port:username:password
wire_options = {
        'proxy': {
            'http': f'http://{username}:{password}@{ip}:{port}', 
            'https': f'http://{username}:{password}@{ip}:{port}',
            'no_proxy': 'localhost,127.0.0.1' # excludes
        }  
    }
driver = uc.Chrome(executable_path=ChromeDriverManager().install(), options=options,seleniumwire_options=wire_options)
driver.get('https://2ip.ru/')

Браузер пытается подключиться к серверу, но тот всё равно запрашивает ввести вручную пароль и имя. Буду благодарен, если укажете, что я делаю не так, или подскажете иное решение проблемы.

python google-chrome proxy selenium

Источник: Stack Overflow на русском

Answer 1

▲ 1

После дня поисков в интернете выяснилось, что с какого-то момента Chrome просто перестал поддерживать базовую аутентификацию прокси как небезопасную. На англоязычном сегменте подсказали следующее решение: https://stackoverflow.com/questions/76396403/how-can-i-integrate-proxies-into-my-selenium-web-scraper-for-true-people-search/76400335#76400335. Но оно и подобные решения не работали у меня, так как браузер не мог загрузить расширение из zip файла. Мне пришлось изменить код, чтобы расширение загружалось из папки с файлами в директории <папка скрипта>\Proxy.

extension.py:

import os
def proxies(username, password, endpoint, port,path):
    try:
        os.mkdir(path)
    except FileExistsError:
        pass
    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "Proxies",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "<all_urls>",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = """
    var config = {
            mode: "fixed_servers",
            rules: {
            singleProxy: {
                scheme: "http",
                host: "%s",
                port: parseInt(%s)
            },
            bypassList: ["localhost"]
            }
        };

    chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

    function callbackFn(details) {
        return {
            authCredentials: {
                username: "%s",
                password: "%s"
            }
        };
    }

    chrome.webRequest.onAuthRequired.addListener(
                callbackFn,
                {urls: ["<all_urls>"]},
                ['blocking']
    );
    """ % (endpoint, port, username, password)

    with open(path+"\\manifest.json", 'w') as m_file:
        m_file.write(manifest_json)
    with open(path+"\\background.js", 'w') as b_file:
        b_file.write(background_js)

main.py:

from webdriver_manager.chrome import ChromeDriverManager
import undetected_chromedriver as uc
import os
from extension import proxies
options = uc.ChromeOptions()
script_address = os.getcwd()
...
ip,port,username,password = proxy.split(':')   #proxy in format ip:port:username:password
proxies(username, password, ip, int(port),script_address+'\\Proxies\\'+ip)
options.add_argument('--load-extension='+script_address+'\\Proxies\\'+ip)
driver = uc.Chrome(executable_path=ChromeDriverManager().install(), options=options)

Обращаю внимание, что это решение работает в режиме headless, но не в режиме incognito.

Python Selenium undetected chromedriver - не работают прокси с авторизацией

Ответы