Компоненты и память
Если мы удаляем визуальный компонент подобным образом:
this.Controls.Remove(Label1)Источник: Stack Overflow на русском
Ответы
Удаляется ссылка на Label1 в коллекции Controls. Когда все ссылки на Label1 удалятся, то Label1 станет кандидатом на удаление из памяти как объект, и сборщик мусора когда-нибудь доберётся до него