Способ получить все внутренние ссылки на сайте

Привет.

Какие есть способы спарсить все внутренние ссылки на сайте?

Я вижу только одну глупую затею, это определить (домен.зону) сайта, далее начиная с самой главной страницы искать ссылки по шаблону из регулярок, проверять уникальность ссылки (чтобы не делать повторные переходы), делать переход и там искать еще ссылки, и так, пока не наступит конец света).

Как реализовать более практичней и эффективней?