Настройка robots.txt и sitemap.xml на Tilda

Проверяем robots.txt и sitemap.xml на сайте Tilda и настраиваем параметры индексации, которые влияют на доступ поисковых роботов к страницам сайта. Услуга подходит для новых сайтов перед запуском, действующих проектов с проблемами индексации и сайтов, структура которых изменилась после добавления или удаления страниц.

На Tilda файлы robots.txt и sitemap.xml создаются автоматически. Поэтому вручную создавать их для обычного проекта не требуется. Наша задача — проверить, корректно ли они сформированы, какие страницы доступны поисковым системам и нет ли настроек, мешающих индексации сайта.

Проверяем доступность robots.txt и sitemap.xml по основному домену, наличие страниц в карте сайта и настройки индексации отдельных страниц. Если какая-либо страница не должна появляться в поиске, проверяем её SEO-настройки и корректно исключаем из индексации средствами Tilda.

Проверяем основной адрес сайта и использование HTTPS и WWW в robots.txt, sitemap.xml и canonical. Это особенно важно после подключения SSL, изменения основного домена или настройки редиректов, чтобы поисковые системы получали единый вариант адресов сайта.

Если на сайте используется каталог товаров, учитываем отдельный sitemap каталога. Tilda автоматически создаёт /sitemap-store.xml для опубликованных товаров, а генерацию этой карты можно включать и отключать в настройках каталога.

Если используются CMS Потоки, проверяем связанные с ними карты сайта и настройки модуля. Это помогает избежать ситуаций, когда в robots.txt остаются ссылки на Sitemap неиспользуемого контента.

Проверяем, не закрыт ли от поисковых систем весь сайт или отдельные важные страницы. Учитываем ограничения доступа, настройки индексации и другие параметры Tilda, которые могут препятствовать обходу сайта поисковыми роботами.

После настройки переопубликовываем необходимые страницы и повторно проверяем технические файлы. При необходимости подготавливаем рекомендации по дальнейшей индексации сайта в Яндексе и Google.

Услуга не является полноценным SEO-продвижением. Она решает техническую задачу: помогает привести robots.txt, sitemap.xml и связанные настройки индексации сайта на Tilda в корректное состояние.

Категория: Разработка

Подкатегория: Настройка и оптимизация

Тип услуги: Настройка robots.txt и sitemap.xml

Платформа: Tilda

Формат работы: Проектный

Срок: от 1 рабочего дня

Старт — 10 000 ₽

Для небольшого сайта с обычной структурой страниц.

• проверка robots.txt;
• проверка sitemap.xml;
• проверка доступности файлов;
• проверка основного домена;
• проверка HTTPS в метафайлах;
• проверка основных настроек индексации;
• проверка исключённых страниц;
• исправление доступных настроек Tilda;
• переопубликация необходимых страниц;
• повторная техническая проверка.

Бизнес — 18 000 ₽

Для многостраничного сайта с более сложной структурой.

Всё из пакета Старт, а также:

• расширенная проверка индексации;
• проверка canonical основных страниц;
• проверка WWW/без WWW;
• проверка HTTP/HTTPS;
• проверка страниц, закрытых от индексации;
• проверка удалённых или изменённых страниц в пределах задачи;
• проверка структуры sitemap.xml;
• проверка CMS Потоков при наличии;
• выявление основных технических конфликтов;
• рекомендации по исправлению обнаруженных проблем.

Премиум — 30 000 ₽

Для интернет-магазина, крупного многостраничного сайта или проекта с несколькими источниками Sitemap.

Всё из пакета Бизнес, а также:

• комплексная проверка файлов индексации;
• проверка основного sitemap.xml;
• проверка Sitemap каталога;
• проверка Sitemap CMS Потоков при наличии;
• проверка опубликованных товаров в Sitemap;
• проверка основных параметров canonical;
• проверка основного адреса сайта;
• проверка технических ограничений индексации;
• исправление настроек Tilda в пределах услуги;
• повторная проверка после публикации;
• список обнаруженных SEO-проблем, которые требуют отдельной работы.

Проверяем, открываются ли robots.txt и sitemap.xml на основном домене и соответствует ли их содержимое текущей структуре сайта.

Смотрим настройки индексации важных страниц и проверяем, не закрыты ли они от поисковых систем по ошибке.

Проверяем основной вариант адреса сайта, HTTPS, WWW и canonical там, где это относится к задаче.

Для интернет-магазинов дополнительно учитываем Sitemap каталога товаров. Для проектов с CMS Потоками проверяем связанные с ними технические файлы.

Если проблема находится за пределами robots.txt и sitemap.xml — например, страница имеет неправильный Title, отсутствует H1 или контент требует SEO-оптимизации — фиксируем её отдельно.

Tilda автоматически формирует robots.txt и sitemap.xml. Это значит, что владельцу обычного сайта не нужно вручную создавать и загружать эти файлы.

Для каталога товаров Tilda формирует отдельный /sitemap-store.xml с опубликованными товарами. Генерацией этой карты можно управлять через настройки каталога.

CMS Потоки также могут добавлять собственные Sitemap. Если Потоки больше не используются, проверяем настройки модуля, чтобы в robots.txt не оставалась ненужная ссылка на /sitemap-feeds.xml.

Настройка этих файлов помогает поисковым роботам правильно обходить сайт, но сама по себе не гарантирует попадание каждой страницы в индекс или высокие позиции в поиске.

Клиент получает проверенные и приведённые в порядок настройки robots.txt, sitemap.xml и индексации сайта в пределах возможностей Tilda.

Исправляем обнаруженные ошибки в настройках, которые входят в выбранный пакет, переопубликовываем необходимые страницы и повторно проверяем результат.

Если обнаруживаем другие SEO-проблемы, которые не относятся к этой услуге, сообщаем о них отдельно.

• полноценный SEO-аудит;
• сбор семантического ядра;
• SEO-копирайтинг;
• оптимизация текстов;
• изменение структуры сайта;
• создание новых страниц;
• массовая настройка метатегов;
• работа с позициями сайта;
• ссылочное продвижение;
• исправление большого количества 404-страниц;
• массовые 301-редиректы;
• устранение санкций поисковых систем;
• гарантированное попадание страниц в индекс;
• гарантии позиций в поисковой выдаче.

Дополнительные SEO-работы рассчитываем отдельно.

Для начала потребуется ссылка на сайт и доступ к проекту Tilda.

Если сайт уже добавлен в сервисы вебмастеров и задача связана с конкретной проблемой индексации, дополнительно могут потребоваться данные или доступ к соответствующему аккаунту.

Также желательно сообщить:

• какие страницы должны индексироваться;
• какие страницы необходимо исключить;
• менялся ли недавно домен;
• подключался ли HTTPS;
• удалялись или переносились ли страницы;
• используется ли каталог товаров;
• используются ли CMS Потоки;
• какая проблема с индексацией наблюдается сейчас.

1. Проверяем сайт

Открываем robots.txt, sitemap.xml и изучаем текущие настройки проекта.

2. Проверяем структуру

Сопоставляем технические файлы с опубликованными страницами сайта.

3. Проверяем индексацию

Изучаем настройки страниц и основные ограничения для поисковых роботов.

4. Проверяем адреса

Проверяем HTTPS, WWW и основной адрес сайта в пределах выбранного пакета.

5. Проверяем дополнительные Sitemap

Для соответствующих проектов проверяем каталог товаров и CMS Потоки.

6. Исправляем настройки

Вносим доступные изменения средствами Tilda.

7. Переопубликовываем

Публикуем необходимые страницы после изменения настроек.

8. Проверяем результат

Повторно открываем технические файлы и проверяем внесённые изменения.

9. Передаём рекомендации

Сообщаем о выполненных работах и найденных проблемах, которые требуют отдельной SEO-оптимизации.

Нужно ли создавать robots.txt на Tilda вручную?

Нет. Tilda автоматически генерирует robots.txt для сайта.

Нужно ли самостоятельно создавать sitemap.xml?

Нет. Основной sitemap.xml также создаётся Tilda автоматически.

Тогда зачем нужна эта услуга?

Чтобы проверить правильность индексации, технические файлы и связанные настройки проекта. Ошибка может быть не в отсутствии robots.txt или sitemap.xml, а в настройках страниц, HTTPS, основного адреса или дополнительных Sitemap.

Можно закрыть отдельную страницу от поисковых систем?

Да. Tilda позволяет запретить индексацию отдельной страницы через её SEO-настройки.

Можно отредактировать robots.txt вручную?

В обычном проекте Tilda файл формируется системой. Работаем прежде всего с предусмотренными платформой настройками индексации, а нестандартную задачу сначала проверяем отдельно.

У интернет-магазина отдельная карта сайта?

Да. Для Каталога Tilda автоматически создаётся /sitemap-store.xml с опубликованными товарами.

У CMS Потоков есть отдельный Sitemap?

Да. Потоки могут добавлять отдельную карту сайта. Если модуль не используется, его можно отключить, после чего необходимо сохранить настройки и переопубликовать страницы.

Настройка гарантирует индексацию в Google и Яндексе?

Нет. Корректные технические настройки помогают поисковым роботам обходить сайт, но решение об индексации конкретной страницы принимает поисковая система.

Вы добавите сайт в Яндекс Вебмастер и Google Search Console?

Это можно сделать отдельно или включить в более комплексную услугу по подключению сайта к поисковым системам. В базовую настройку robots.txt и sitemap.xml это не входит.

Это полноценная SEO-оптимизация?

Нет. Здесь работаем с технической доступностью сайта для поисковых систем. Семантика, контент, метатеги, внутренняя оптимизация и продвижение относятся к другим SEO-услугам.