Персинг не переходит на следующую страницу
Есть код парсинга сайта с помощью scrapy crawl
import scrapy
class OstrovSpider(scrapy.Spider):
name = "ostrov"
allowed_domains = ['ostrov-shop.by']
start_urls = [
"https://ostrov-shop.by/catalog/produkty-pitaniya/bakaleya/maslo-rastitelnoe-uksus-ketchupy-gorchitsa-khren-soevye-sousy/",
]
def parse(self, response):
for link in response.css('div.item-title a::attr(href)'):
yield response.follow(link, callback=self.parse_ostrov)
pages_count = int(response.css('div.nums a.dark_link:last-child::text').get()) + 1
for i in range (1, pages_count):
next_page = f"https://ostrov-shop.by/catalog/produkty-pitaniya/bakaleya/maslo-rastitelnoe-uksus-ketchupy-gorchitsa-khren-soevye-sousy/?PAGEN_1={i}&btn_load=Y&ajax_get=Y&AJAX_REQUEST=Y&bitrix_include_areas=N"
yield response.follow(next_page, callback=self.parse)
next_page = response.css('a.flex-next::attr(href)').get()
if next_page is not None:
next_page = response.urljoin(next_page)
yield scrapy.Request(next_page, callback=self.parse)
def parse_ostrov(self, response):
yield {
'Название': response.css('#pagetitle::text').get(),
'Штрихкод': response.css('.prod-properties > div:nth-child(1) > div:nth-child(1) > div:nth-child(2) > div:nth-child(3)::text').get().strip(),
}
Парсится только первая страница. Дальше парсинг останавливается. Через scrapy shell я получаю верное количество страниц. Переход на следующую страницу может быть выполнен через номер страницы или через кнопку следующая страница. Так же на сайте есть кнопка Показать еще. Что нужно сделать, чтобы был правильный переход на следующую страницу?
Источник: Stack Overflow на русском