Вопрос того, когда использовать фрагменты, разработчик принимает сам, из соображений необходимости, а не так, чтобы раз есть - значит надо использовать. Бездумное использование фрагментов только расходует ресурсы устройства в пустую.
Идея фрагментов основана на том, что потребовалась возможность часть кода активити выделить в отдельный самостоятельный блок. Что позволяет, с одной стороны, иметь несколько обособленных блоков в одной активити, с другой - в нескольких активити, один и тот же блок.
Отсюда типичные применения фрагментов:
- Однопанельный интерфейс на телефоне - двухпанельный (многопанельный) на планшете - то, ради чего все и затевалось в основном.
- Использование одного отображения, требующего какой то логики в разных активити (исключение дублирования кода).
Есть еще некоторые решения, где фрагменты оправданы и используются, например, вывод диалоговых окон через фрагмент позволяет удобнее контролировать изменения состояния в процессе работы, такие как поворот устройства.
Общий принцип такой, что если проще не использовать фрагменты - их не надо использовать.
Что касается конкретно вашего случая, то использование фрагментов в такой задаче только запутает и усложнит структуру приложения, ничего, кроме дополнительного геморроя на пустом месте вы тут не выгадаете.