Парсер ТП Steam получает цены в разных валютах
Пишу парсер цен с ТП Steam, и столкнулся с такой проблемой: когда я начинаю парсить страницу https://steamcommunity.com/market/listings/730/M249%20%7C%20Deep%20Relief%20%28Well-Worn%29, то цены выводятся в разных валютах:
Код парсера выглядит так:
def parse_price(self, url):
# url += '' Здесь я пытался добавить в конец аргументы по типу /render?currency=1
# но это не сработало
response = self.get_page(url)
soup = BeautifulSoup(response, 'html.parser')
items = soup.find_all(id='searchResultsRows')
for i in items:
for j in i.find_all_next('span', class_='market_listing_price market_listing_price_with_fee'):
print(j.text.strip())
Функция для получения страницы:
def get_page(self, url):
try:
response = self.session.get(url, proxies=self.p.get())
time.sleep(random.randint(5, 10))
return response.content
except Exception as e:
print(e)
self.p.change_proxy()
return self.get_page(url)
Запросы отправляются через публичные прокси, и если ничего не вышло, то прокси меняется на другой. Все цены на скрине - это результат одного запроса, так что цены разные не из-за прокси. Заранее благодарю
Источник: Stack Overflow на русском