Face Recognition. Уменьшение ложных распознаваний

Всем привет. Решаю задачу по распознаванию лиц. За основу взял библиотеку Face_Recognition и приложенный к ней код. Суть задачи заключается в том, что мне нужно распознать человека(или несколько человек) проходящих мимо камеры и записать время его прохождения для последующего формирования статистики. В процессе эксплуатации этого инструмента выявил следующую проблему: если человек проходит мимо камеры(без остановки и не обязательно смотря в саму камеру), то большая часть распознаваний истинная, но при этом присутствует ложная составляющая. Обычно за секунду успевает сделать 12-15 записей(распознаваний), из которых 3-5 могут быть ложными. Количество человек в рамках данной задачи не большое ~20 человек, но в дальнейшем есть планы увеличить эту базу на несколько порядков. Пробовал изменить параметр tolerance от 0.6 до 0.8 с шагом 0.05, но особого изменения в результате не было. Хотел бы узнать кто-нибудь пробовал решить эту проблему на уровне применения встроенных функций библиотеке Face_Recognition.

upd под ложным распознаванием имеется ввиду ошибка классификации для одного человека.