Хочу спарить данные с сервера гос организации, 230к строк 24 колонок. Есть ли вероятность, что он упадет? На какую передачу обычно рассчитаны сервера? Или нет смысла об этом даже задумываться?
Вообще, объем данных в 230к строк выглядит смешным.
Если растянуть парсинг на день (ну, Вы же не гонитесь за то, чтобы первыми в мире спарсить эти данные?) - то, скорее всего, такой нагрузки на сервер никто даже не заметит
Так, ещё раз.. У тебя есть запасной сервер, ты на нём это все проводить будешь? Потому, что ну.. Очевидно да, я бы даже не рискнул делать что-то такое на сервере, который всегда должен быть в сети, ибо данные - казённые, зачем тебе такой стресс? Когда есть вполне конкретный риск, то тут даже задумываться не стоит, а то будет из серии "хотел как лучше, а получилось как всегда", с тебя же потом спросят, причины никого волновать не будут
К тому же у нас в СНГ в гос. учреждениях обычно такое железо, что.. Кхм. Сам знаешь, лучше не рисковать; некоторые офисные пк то всё ещё даже на ХРюше стоят, а администрирование более сложных систем до твоего прихода могло быть и вовсе никакущим, так что..
Чтобы сервер не упал попробуй ParseHub, Octoparse, Data Miner или Import.io. Там можно настроить интервалы между запросами. Или парси данные мелкими частями в многопоточном режиме.