Парсинг сайтов, защищенных cloudfare

Рейтинг: -4Ответов: 1Опубликовано: 19.04.2023

Написал скриптец на питоне, использую undetected chrome browser библиотеку. На сайт заходит, проходит капчу, все тип-топ вроде, но как только запускается скрипт сбора инфы - сразу обрубает. Пробовал разные методы: bs4, scrapy. В общем сколько ни долбился я с этим cloudflare, так ничего и не вышло. Может кто подсказать хотя бы в каком направлении инфу искать? Ютуб и ру и инглиш сегмент ответа не дают. Гугл тоже не помог. Все, что находил по давности год и более и на данный момент не работает, по крайней мере у меня.

python парсер cloudflare
Источник: Stack Overflow на русском

Ответы

▲ 1Принят

Было бы проще, конечно, если бы вы указали сайт, и можно было попробовать.
Но, тем не менее, оформлю в ответ. Потому что:

В общем сколько ни долбился я с этим cloudflare, так ничего и не вышло.

Для cloudflare есть замечательная библиотека cloudscraper и мой ответ по этой библиотеке с схожей проблемой. Пробуйте, защита не менялась уже какой год и библиотека всегда выручала.

И, пожалуйста, изучите тур, добавляйте код, или хотя бы источник, и у вас не будет -3 в рейтинге.