soup.find_all находит не все классы

Рейтинг: 0Ответов: 0Опубликовано: 27.05.2023

Использую Суп soup.find_all("div", class_="ticket-title") в DOM дереве наблюдаю как минимум 20 нужных мне классов.Но Суп упорно отбирает только 10.Почему? К XPath привязаться не могу они разные все 20 штук

введите сюда описание изображения

Вывел принт чтоб посмотреть сколько там

response = requests.get(url,headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
print(soup)
links_product = soup.find_all("div", class_="ticket-title")

Оказалось 12.Из которых 10 ссылок всего а не 20. requests.get возвращает пол страницы?

В супе нашел вот такой кусок текста

window.server.ids = ["34552076","34542522","34537520","34549891","34481540","34464862","33906513","34551692","34404547","34543366"]; Тут реально 10 айдишек.а где же остальные 10?

При том что в DOM дереве эта же строка содержит 20 айдишек.

window.server.ids = ["34552076","34542522","34537520","34549891","34481540","34464862","33906513","34551692","34404547","34543366","34355769","34416508","34338705","34532822","1899088","1899121","34333066","34423115","34538403","34545649"];

Может сайт защищен от парсинга?

Ответы

Ответов пока нет.