PHP или python: вопрос структуры

Рейтинг: 0Ответов: 1Опубликовано: 02.02.2015

Это не холивар, а конкретная задача. Есть база на постгрес. И ей что-то плоховато стало в последнее время. Имеем на данном этапе - cron запускает python скрипт, который выгребает данные для графиков за последние сутки раз в 5 минут. Итого имеем в текстовом файле на сервере 250к записей (ид графика, значение, время). На php с помощью ajax выгребаю данные и парсю в зависимости от графика, какие данные отображать. Вроде бы лепота. фф грузит данные за 1сек, но ослик обрабатывает данные 10сек. Так что прирост производительности невысокий.

Внимание, знатоки, вопрос - как это дело оптимизировать? Мне кажется, что питон должен быть быстрее в парсинге значений по айдишнику, но сможет ли пхп страница запустить скрипт и как передать значения тэгов?

А если сделать это с помощью пхп, то передать значения тэгов и время с помщью гета или поста дело плевое. Но это опять же будет парситься сервером и вроде как из пустого в порожнее? Кто как бы делал\сделал?

UPD

Для простоты - хочу реализовать схему (запрос к базе из python -> создание файла ВСЕХ значений -> парсинг данных php\python -> конечный пользователь из php страницы обращается к данным только для своих графиков) заглох на интрументарии парсинга текстового файла. php - вроде легко, но как с производительностью? python - вродь крутой ЯП, а как передать ид тэгов и вообще возможно ли? 

        разница файла и запроса к базе

alt text

python php internet-explorer
Источник: Stack Overflow на русском

Ответы

▲ 1Принят
  1. Нанять DB-админа, который настроит базу, индексы и прочие, раз прогерам лень.
  2. Нанять DB-developer`а, который будет писать грамотно sql запросы, раз прогерам лень.
  3. Агрегировать данные для удобной работы.
  4. Начать работать непосредственно с БД, а не гигабайтным файлом и его парсингом.
  5. Написать api для получения данных клиентом.
  6. Написать клиент на любом языке, который выводит график, используя легковесные плагины.

Это если я правильно понял ваш вопрос. Я работаю с гиганским количеством данных, и все довольно-таки шустро работает, хотя вижу, что можно быстрее, чем и занимаюсь.