Проблема с парсингом страницы

Рейтинг: -2Ответов: 1Опубликовано: 31.01.2023

Мне нужно пропарсить всю страницу, но проблема состоит том, что когда я отправляю запрос на страницу там присутствуют всего 8 тегов, они увеличиваются по мере того как ее листаешь вниз. Я знаю как по странично пропарсить сайт, а что делать с этим я не понимаю. Ссылка на сайт: https://animeday.fun/genre?genre=Романтика

Сам код:

import requests
from bs4 import BeautifulSoup
import fake_useragent

user = fake_useragent.UserAgent().random

link = "https://animeday.fun/genre?genre=Романтика"
recponce = requests.get(link).text
soup = BeautifulSoup(recponce, "lxml")
poisk = soup.find_all("div", class_="col-xl-3 col-lg-4 col-md-6")

for i in poisk:
    name1 = i.find("h3", style="margin-top: 15px;").text
    name = f"Название аниме: {name1}"

    anime1 = "https://animeday.fun" + i.find("img", alt="streamlab-image").get("src")
    anime = f"Обложка аниме {anime1}"

    silka1 = "https://animeday.fun" + i.find('a').get("href")
    silka = f"Ссылка на аниме: {silka1}"

    age1 = i.find_all("li")
    for q in age1[0:2]:
        if q == age1[0]:
            print(f"Дата выхода: {q.text}")
        else:
            print(f"Статус: {q.text}")
    print(name + "\n" + silka + "\n" + anime + "\n\n")
print(user)
python beautiful-soup
Источник: Stack Overflow на русском

Ответы

▲ 3
import requests

start = 0
while True:
    data = {
        'startFrom': start,
        'type': 'Романтика',
    }
    response = requests.post('https://animeday.fun/db/anilelist.php', data=data)
    dct = response.json()
    if not dct:
        break
    start += 8
    print(*(x['name'] for x in dct), sep='\n')