При валидации резко падает точность по сравнению с тренировкой нейронной сети

Есть архитектура сети для разпознования двух отпечатков стоп на изображении. Весь набор данных очень похож. Просто разные размеры стоп немного в разном положении. Я хочу их определить. Для этого беру сверточную чать потом развожу ее на 2 полносвязных с 4мя выходами и объединяю в один выходной слой.. В качестве функции потерь mse, а метрики собтвенная IoU, являющаяся средним значением двух областей(стоп). В процессе обучения единственной эпохи я получаю достойные результаты . Так как эпоха одна, то о переобучении речи быть не может.Т.к. изображения используются всего по 1 раз. Логично что при валидации (10% от обучающей выборки) должны быть сопоставимые результаты. Но я получаю и с тестовыми изображениями таже ситуация. Это противоречит всему моему пониманию процесса. Объясните в чем может быть проблема. Какой код нужно прикрепить? Очень нуждаюсь в помощи. Я в тупике!