Уже скачанный объект для pandas read_csv

Рейтинг: 0Ответов: 1Опубликовано: 20.04.2023
df = pd.read_csv(file_patch, sep='|')

прекрасно качает и парсит файл формата csv в dataframe. А как ему вскормить объект уже скачанный с помощью

import httpx

r = httpx.get('https://site.org/file.csv')

Например конкретно вот этот

Хочется скорости, по факту httpx.get .text.splitlines() в цикле разбрасывает файл в словарь раз в 10 быстрее чем pd.read_csv скачивает и парсит в dataframe...

python pandas
Источник: Stack Overflow на русском

Ответы

▲ 1

Кажется нашел.

import io
import httpx
import pandas as pd


res = httpx.get('https://site.org/file.csv')
df = pd.read_csv(io.StringIO(res.text), sep='|')

Это в 4-5 раз быстрее чем просто pd.read_csv('https://site.org/file.csv', sep='|') Но всё равно в 2 раза медленнее чем в словарь без Pandas...