Ошибка в коде парсера на Python
import requests from bs4 import BeautifulSoup from time import sleep list_card_url = [] url = 'https://klust.clients.site/catalog/sellers/5086264?utm_campaign=vendor_org_767133_17…
Вопросы по тегу: парсер
- 0 ▲1 ответ.
- 0 ▲1 ответ.
Не выводятся данные в терминале
Я пытаюсь парсить каталог сайта DNS (просто в качестве обучения), но у меня не выводятся нужные данные в терминал. Вот мой код: import requests from bs4 import BeautifulSoup url =…
- 1 ▲2 ответ.
WP Можно ли выкачать директорию uploads?
Есть некий сайт на WordPress с нужными медиафайлами, вопрос есть ли возможность выгрузить все его файлы которые находяться по адрессу \wp-content\uploads\ при условии что неизвесн…
- 1 ▲1 ответ.
Как быстро распарсить много json файлов на python?
Стоит задача распарсить 8000 Json файлов, объем всего этого добра ~ 8 гигов. Нужно вытащить нужную информацию и записать в базу. На файл уходит по 2 секунды. То есть на все файлы …
- -4 ▲1 ответ.
python, нужно подставлять все слова из файла в ссылку по одному, и в другой файл записывать куда эта ссылка перенаправила
Например: Файл1: Test Example Proverka Код переходит по ссылке example.com/[word]/start, подставляя вместо [word] слова из файла 1. Каждая из получившихся ссылок редиректит на дру…
- -3 ▲1 ответ.
Как с помощью RegExp отфильтровать артикул товара (#КЛП1483П1)?
Есть артикул товара (#КЛП1483П1). Нужно отфильтровать скобки в начале и в конце артикула, а также знак # . Выражение вида /\(\#^.*$\)/ не срабатывает (функция preg_match). Не подс…
- 0 ▲1 ответ.
Не получается спарсить данные из тега
Не получается залезть в этот тег, выдает None <app-root urlvalue="//search.worldbank.org/api/v2/procnotices?format=json&amp;apilang=en&amp;fl=*&amp;id=OP002314…
- 0 ▲1 ответ.
Как получить ссылку на картинку при помощи парсинга сайта?
def getOneGuitar(url, file_name): r = requests.get(url) name = bs(r.text, 'html.parser').find('h1', itemprop="name").text lore = bs(r.text, 'html.parser').find('div', it…
- 0 ▲1 ответ.
Сайт периодически отправляет 500 ошибку
Мне нужно парсить последние транзакции кошельков Ton-коинов. Для этого я использую их API: https://toncenter.com/api/v2/#/, но периодически мне в логи прилетает ошибка 500. Вот фу…
- 0 ▲0 ответ.
Использование requests вместе с прокси
У меня на компьютере настроено прокси и мне нужно парсить один сайт. Сайт открывается в браузере, но когда я хочу получить к нему доступ через requests, python выдает ошибку: Trac…
- 0 ▲1 ответ.
Как перебрать циклом список тегов?
Есть вот такой html: <div class="section"> <div class="catalog-music inline_player_playlist"> <div class="music-popular-wrapper"> &…
- -2 ▲1 ответ.
Как спарсить данные с одинаковым классом id ,но с разным названием?
Не судите строго,я новичок и многого не знаю.(Изображение прикрепил) Дан класс "bigline" в нем есть "id" записи к которой мне надо обратиться ,но я не знаю как…
- 0 ▲1 ответ.
Скачивание pdf файла через requests
Я хочу скачать ряд .pdf файлов с сайта, использую обычный код на requests. Подскажите, в чем может быть проблема? Пробовал добавлять заголовки и cookies. Единственное решение - ск…
- 0 ▲1 ответ.
Написал код для скачивания видео с сайта, но вместо видео скачиваются файлы по 1 кб
import requests from bs4 import BeautifulSoup from time import sleep headers = {Скрою на всякий случай} def download(url_v): resp = requests.get(url_v, stream=True) r = open('D:\\…
- 0 ▲1 ответ.
Как ограничить количество потоков curl-multi?
Всем привет! Делаю парсер интернет-магазина, в котором при задании ссылок на списки товаров выдаются параметры из карточки товара. Одним словом, парсер на входе должен получать сс…
- 0 ▲1 ответ.
Парсинг Selenium+ bs4 Python. Ошибка selenium.common.exceptions.ElementNotInteractableException: Message: element not interactable
Я новичок в парсинге. Есть задача: проверить, имеющиеся УНП компаний (файл csv, который переводится в список по ходу кода) по Единому государственному регистру (сайт: https://egr.…
- 0 ▲0 ответ.
json выдает по одному результату
Помогите, пожалуйста, разобраться с вопросом. Пытаюсь спарсить сайт, собираю нужные данные, но, когда пытаюсь перевести их в json, результат выдается только одной страницы. Точнее…
- 2 ▲1 ответ.
Как спарсить из телеграм-канала сообщения, опубликованные за последние 5 минут? (Python, Telethon)
Есть задача спарсить и загрузить в json-файл сообщения из определенного телеграм-канала с помощью Python (я использую библиотеку Telethon). Но нужны не все посты, а только те, что…
- -1 ▲1 ответ.
Не могу правильно спарсить данные с сайта
from bs4 import BeautifulSoup from urllib import request, error import ssl from urllib.parse import quote import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win6…
- 0 ▲1 ответ.
selenium парсинг сайта
import json import undetected_chromedriver as uc from selenium.webdriver.common.by import By from selenium.webdriver.chrome.options import Options class Parse: def __init__(self, …
- 0 ▲1 ответ.
Как достать внутренний контент div из внешнего div при парсинге Python
Помогите пожалуйста, при парсинге страницы, нужно достать div(product-price__value) из другого div(product-price). import requests from selenium import webdriver from selenium.web…
- 0 ▲0 ответ.
Не могу передать значение в json
Никак не могу решить проблему(Python). Необходимо спарсить данные с сайта, но ввиду того что некоторые значения имеют одинаковый class приходится прибегать к команде find_all и пр…
- 0 ▲0 ответ.
Почему в csv распаршенного xlsx вместо даты из ячейки - какие-то числа. как их привести к обычному формату даты?
Разархивировал Excel файл библиотекой unzip, в итоге у меня в ячейках, где были даты - в csv стоят числа. Например, вот что произошло с С2: 01.10.2021 превратилось в 44470. Как пе…
- 1 ▲1 ответ.
Результаты цикла в списке
Всем привет! ниже код с циклами, который выгружает все в список. result = [] coins = ["BTC", "USDT", "ETH"] list_bank = ["BUY", "SELL&…
- 0 ▲1 ответ.
Как спарсить несколько страниц сайта?
Помогите пожалуйста, пытаюсь спарсить страницы читай города, пробовал через .click(), но кнопка сделана через div и пишет что элемент не кликабелен, пробую через подставление знач…
- 0 ▲0 ответ.
Автоматическое наполнение сайта
Наверное задам глупый вопрос. Как сделать чтобы парсер на Python в автоматическом режиме по времени осуществлял парсинг сайта-донора и затем вставлял эти результаты на мой сайт? П…
- 0 ▲1 ответ.
Как сделать так, чтобы при парсинге страницы, каждые данные в квадратных скобках переносились на новую строку при выводе
import requests from selenium import webdriver from selenium.webdriver.common.by import By from bs4 import BeautifulSoup import json driver = webdriver.Chrome() # driver.maximize_…
- 0 ▲1 ответ.
Расширение Google Chrome. Проблема с доступом к элементам во вложенных фреймах в JavaScript
подскажите как получить доступ к элементам таблицы во вложенных фреймах из расширения. Вместо значения, я получаю null или undefined. Все вложенные фреймы на странице получают кон…
- 0 ▲0 ответ.
Как получить HTML код полностью загруженной страницы в C#
В ходе создания своего парсера сайтов столкнулся с проблемой. С помощью http запроса пытался получить HTML код страницы, чтобы взять нужные данные, но код который я получил отлича…
- 0 ▲1 ответ.
Как спарсить информацию с двух тегов и записать в одну переменную(в порядке получения данных)?
changes = soup.find_all('div', class_='finance-currency-table__cell finance-currency-table__cell--change finance-currency-table__cell--up') changes_ = soup.find_all('div', class_=…