Общая база данных

Рейтинг: 1Ответов: 1Опубликовано: 17.12.2014

Есть небольшой проект по борьбе со спамом в узкой области, суть снятия уникальных слепков машины спамеров без учета UA перевод строки в MD5 и запись в базу. Далее идет идентификация, ну и, собственно, какие-то действия.

Проблема:
В данном виде поимки спамеров учавствует порядка 35 разных проектов, у всех свой хостинг, у кого-то он крутой, у кого-то он не совсем крутой. :)
Нужно работать как-то с общей базой данных, которая могла бы либо синхронизироваться с центральной базой, все построено на MYSQL (потому что оно есть у всех). Но объемы очень большие, и получить, скажем, синхронизацию на стандартном хостинге не представляет практически никакой возможности.
Думал на счет API, но там задержка критична сильно на некоторых проектах. Т.е. как бы API тоже отвалилось.

Подскажите готовое, может быть, какие-то решение по синхронизации базы, и чтоб работала на стандартных хостингах.
Может быть, вообще перевести все на какую-то плоскую базу и тупо выкладывать типа файлов апдейта в ZIP, участники проекта будут затягивать к себе базу, распаковывать и работать с этим файлом. Ну не знаю, база какая-нибудь беркли, но тут проблема - не держит много трафика беркли - многопточной выборки нет, опять же задержки.

Ответы

▲ 1

Если объемы настолько большие, то имеет смысл разбивать передаваемые данные на более мелкие части. Или второй вариант: первым запросом к главной базе получать список id новых строк в ней, а затем запрашивать с главной только те id, которых нет в текущей базе.