Как обойти защиту сайта
Установил парсер на windows сервер, всё отлично работает. Но когда идёт работа с сбермегамаркет, то сайт выдаёт ошибку, что используется впн, но его нет. И из-за этого я не могу п…
Вопросы по тегу: парсер
- -1 ▲1 ответ.
- 0 ▲1 ответ.
Как распарсить xml с повторяющимися тэгами в List?
Имеется xml с повторяющимися тэгами, примерно такой: public class Main { public static void main(String[] args) throws ParserConfigurationException { String xmlString = "<…
- -1 ▲1 ответ.
При парсинге на python вместо текста вылезают квадратные скобки []
Пытался сделать парсинг одного сайта, сделал всё как надо, но в итоге при выводе командой print() вместо ожидаемого результата, вылазуют квадратаные скобки []. import requests fro…
- 0 ▲0 ответ.
Как вывести на экран нужный ключ с сайта?
import requests from bs4 import BeautifulSoup as bs url = "https://steamcommunity.com/market/priceoverview/?currency=5&country=us&appid=730&market_hash_name=Recoi…
- 2 ▲1 ответ.
Ошибка при парсинге no such element: Unable to locate element
Селениум выдает ошибку на переменную search_adress Message: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id='ma…
- 0 ▲0 ответ.
AttributeError: 'NoneType' object has no attribute 'find' beautifulsoup
столкнулся с ошибкой при получении данных с сайта при помощи модуля реквестс вот что я получаю в переменной soup (20 строка) послу чего происходит ошибка Traceback (most recent ca…
- 0 ▲1 ответ.
как при парсинге BS4 получить только родителя
<div class="friend_block_content">Kastunaka Double Kill<br> <span class="friend_small_text"> <span class="friend_game_link">D…
- 0 ▲2 ответ.
парсер на PHP c <Yandex:full-text> и <[!CDATA[много текста]]>
С помощью simplexml_load_file($url, "SimpleXMLElement", LIBXML_NOCDATA) добился следующего: Имею теперь почти читаемый массив: [19] => SimpleXMLElement Object ( [titl…
- 0 ▲1 ответ.
Потери данных при асинхронном парсинге с использованием библиотеки Asyncio+aiohttp
Я только начал вникать в асинхронку и еще плохо ориентируюсь в этом. Практикуюсь в написание парсера, возникла следующая проблема: При парсинге я сохраняю словари - {имя:цена} в о…
- 1 ▲2 ответ.
Не могу спарсить значение температуры с сайта https://yandex.ru/pogoda/samara
Задача спарсить значение температуры с сайта https://yandex.ru/pogoda/samara. При поиске по тегу выводится значение None пробовал с других сайтов значение погоды брать, та же проб…
- 0 ▲1 ответ.
Проблема с парсингом OLX
Здравствуйте столкнулся с проблемой парсинга сайта OLX. Для получения номера нужно нажать на кнопку но при использовании request и bs4 нажать никак(Нужны именно они а не selenium)…
- 1 ▲1 ответ.
При парсинге страницы, поиск ссылок выдает None в конечный результат
import requests from bs4 import BeautifulSoup url = 'https://calorizator.ru/product' headers = { 'accept': '*/*', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWeb…
- 0 ▲1 ответ.
GOLANG | Как распарсить строку
Имею строку (<<GRADIENT>>Hello<</GRADIENT>> <<GREEN>>world<</GREEN>> <<UNDERSCORE>>all<</UNDERSCORE>>) Как …
- 1 ▲1 ответ.
Как убрать лишний текст при выводе результата парсинга?
Изучаю парсинг сайтов на Python. Столкнулся с проблемой. Решил спарсить данный сайт. Хочу собрать данные по типу "русское название", "место в топе" и так далее…
- 0 ▲1 ответ.
Ошибка в парсинге сайта
@bot.command() async def testpy(ctx): r = requests.get('https://www.blitzstars.com/player/ru/sayuu', headers = HEADERS) a = BS(r.content, "lxml") w = a.find_all("tr…
- 2 ▲3 ответ.
Как парсить крупные маркетплейсы по типу Ozon, DNS и другие
Решил освоить тему парсинга. Нашёл первый же гайд на ютубе. Решил с ходу повторять за автором, но вместо парсинга каких-то малоизвестных сайтов, решил собрать информацию с OZON. С…
- 1 ▲1 ответ.
Как вычленить из section h4, p и a и добавить их в парсер?
Итак, на прошлый мой вопрос ответили. Теперь мне бы хотелось бы следующее. Хочу, чтобы из "#contacts" выводились имя (program ['nam']), телефон (program ['tel']) и email…
- 0 ▲2 ответ.
Почему при запуске кода выдается ошибка('NoneType' object has no attribute 'text')?
import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36' }…
- 0 ▲1 ответ.
Проблема с авторизацией на сайте для асинхронного парсинга
Одна проблема, нет авторизации на сайте, или она не проходит. Код тут, он просто не поместился в этом окне В данный момент, авторизация позади, но код все равно не хочет работать …
- 0 ▲1 ответ.
Разделение бинарного представления числа на группы разной длины и обратное преобразование их в числа
Имеется число (ushort)26903, в бинарном виде оно выглядит следующим образом: 110100100010111, как разделить бинарный код данного числа на следующие последовательности: 11010 0100 …
- 0 ▲0 ответ.
Как определить, откуда сайт подгружает данные?
Мне нужно спарсить данные о свободных номерах с сайта отелей (например, на эту дату https://www.danhotels.com/Booking/SearchResults?fr=hp&com=box&ttl=ChooseYourRoom&Se…
- -1 ▲1 ответ.
Задать паттерн для строки
Просьба подсказать как можно добавить паттерн для парсера/метода для строки примеры: List<String> list = new ArrayList(); list.add('0456-5-1-3-060323'); list.add('0370-10-2-…
- -1 ▲1 ответ.
Парсер на Python. Ошибка requests.exceptions.TooManyRedirects: Exceeded 30 redirects
Недавно начал изучать python, пытаюсь написать простой парсер на Python 3.11 с помощью библиотеки requests. Выдает следующую ошибку: requests.exceptions.TooManyRedirects: Exceeded…
- 0 ▲1 ответ.
поиск подстроки в QString для парсинга
Всем привет! Пытаюсь распарсить данные из сайта, используя QNetworkAccessManager. Для этого данные сайта записываю в QString, но когда делаю поиск подстроки с использованием index…
- 0 ▲1 ответ.
Почему программа не видит данные блочного атрибута 'text'?
Пишу парсер для flashscore на Python. Не видит внутри блочного тега атрибут text (То есть не выводит данные). Пишу код jupyter notebook. Вот мой код: year= '2023' from selenium im…
- 3 ▲1 ответ.
Хочу правильно преобразовать парсер Python в JSON, но как это сделать
Я бы с удовольствием хотел узнать, как правильно осуществить конвертацию кода Python в массив JSON? При всём при этом нужно, чтобы всё определялось в этом коде автоматически. Можн…
- 0 ▲1 ответ.
Как проскроллить страницу несколько раз? (selenium)
try: catalog = driver.find_element(By.XPATH, "//*[@id='info_katalog']").click() time.sleep(5) category = driver.find_element(By.LINK_TEXT, "Косметика").click()…
- 1 ▲1 ответ.
Программа доходит максимум до 1200 игр, хотя всего их 7350, таймер пытался увеличивать, ничего не поменялось, а надо брать все 7350 игр
from selenium import webdriver, common import time from bs4 import BeautifulSoup from selenium import webdriver import time from selenium.webdriver.chrome.options import Options f…
- 0 ▲0 ответ.
Парсинг данных из json с сайта?
Есть страничка, сказали вывести оттуда данные из json в табличку с помощью любого ЯП. Но уже при поиске json возникли проблемы) В панели разработчика перешел на вкладку network, д…
- 0 ▲0 ответ.
Как привести полученный объект к его наследнику, если объект точно можно привести, но он был получен с помощью jsonConvert из строки?
Всем привет! Есть такая ситуация: С сервера приходит ответ и с помощью newtonsoft.jsonConvert преобразуется в базовый класс DataBasic. У этого класса есть наследники: SomeData1, S…