Загрузка страниц на Python с помощью urllib

Рейтинг: 0Ответов: 1Опубликовано: 28.09.2014

Всем здравствуйте.

В очередной раз обращаюсь к сообществу за помощью. Проблема состоит в том, что я открываю веб-страницу, но данные, которые меня интересуют, судя по всему, подгружаются скриптами. В связи с этим хочу спросить совет, как это обойти.

Заранее спасибо. Код прилагаю

proxy = urllib2.ProxyHandler({'http':proxyList[0]})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
document = urllib2.urlopen(url)
python urllib
Источник: Stack Overflow на русском

Ответы

▲ 1Принят

Решил данную проблему с помощью Selenium

chromedriver = 'C:/pathTo/chromedriver.exe'
os.environ["webdriver.chrome.driver"] = chromedriver

def getSeleniumPage(url):
    chrome_option = webdriver.ChromeOptions()
    chrome_option.add_argument("--proxy-server="+proxyList[0])
    browser = webdriver.Chrome(executable_path=chromedriver, chrome_options=chrome_option)
    browser.get(url)
    time.sleep(2)
    return browser