Как работает индексация сайта поисковыми роботами?

Рейтинг: 0Ответов: 1Опубликовано: 24.02.2025

Сделал сайт с новостными статьями, суть в том что все статьи выводятся на одной странице путем прокрутки вверх или вниз. Сможет ли поисковой робот буть то Яндекс или Гугл правильно индексировать мои статьи если я например специально для него выведу последние 100 статей в структурированный данных, чтобы не переходя на другие страницы он их проиндексировал и все (в каждой записи также хранится полная ссылка на статью чтобы робот ее запомнил для возможности вывода в поисковой системе)

Главный вопрос, правильно ли я продумал функционал для того чтобы роботы индексировали статьи не переходя по ссылкам на сайте. Так как все статьи выводятся динамически на одной странице.

Ну и также я сделал robots.txt и schema.xml

Если кому нужен конкретный код, могу предоставить. Заранее спасибо за ответ.

seo
Источник: Stack Overflow на русском

Ответы

▲ 1

Для этих целей был придуман Sitemap

В файле Sitemap содержится информация о том, как организован контент на сайте (например, веб-страницы, видео и прочие ресурсы). Она помогает Google и другим поисковым системам более точно индексировать ваши материалы. К примеру, в файле Sitemap можно указать, какие разделы сайта наиболее важны, и сообщить дополнительную информацию о них (когда страница последний раз обновлялась, существуют ли ее версии на других языках и т. д.).

То есть вам необходимо сделать на сайте sitemap.xml, где вы перечислите все страницы вашего сайта, чтобы поисковой бот понимал что есть на сайте и что индексировать. Примерно так выглядит

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>http://www.site.ru/</loc>
        <lastmod>2018-10-03</lastmod>
        <changefreq>monthly</changefreq>
        <priority>1.0</priority>
    </url>
    <url>
        <loc>http://www.site.ru/page-1.html</loc>
        <lastmod>2018-10-03</lastmod>
        <changefreq>monthly</changefreq>
        <priority>0.9</priority>
    </url>
    <url>
        <loc>http://www.site.ru/page-2.html</loc>
        <lastmod>2018-10-03</lastmod>
        <changefreq>monthly</changefreq>
        <priority>0.9</priority>
    </url>
    ...
    <url>
        <loc>http://www.site.ru/page-N.html</loc>
        <lastmod>2018-10-03</lastmod>
        <changefreq>monthly</changefreq>
        <priority>0.9</priority>
    </url>
</urlset>