This page is currently available in Russian only. Message me on Telegram in English and I’ll reply in English.
Настройка robots.txt и sitemap.xml
Проверю правила сканирования и XML-карту сайта. Исправлю случайные ограничения важных разделов и включение служебных адресов, чтобы поисковые системы получали согласованную структуру URL.
Когда нужна эта услуга
Подходит, если после разработки остался запрет сканирования, карта отдаёт ошибку или содержит удалённые, закрытые и неканонические адреса.
Что может вызывать проблему
robots.txt управляет обходом, а sitemap помогает обнаруживать страницы. Запрет обхода не гарантирует исключение URL из поиска; для этого могут потребоваться другие механизмы.
Что входит в работу
- Проверю реальный robots.txt и способы его формирования на сайте.
- Определю нужные ограничения по типам URL и доступность ресурсов, важных для отображения страниц.
- Проверю генератор sitemap, статус карты и состав включённых адресов.
- Согласую карту с noindex, canonical и редиректами. Устраню противоречия в настройках.
- Проверю контрольные URL и обновлённую карту, подготовлю действия в инструментах вебмастеров.
Как проходит работа
- Уточняю задачу Вы присылаете ссылку и описание проблемы. Я уточняю важные для бизнеса действия, необходимые доступы и возможность начать работу. Для предварительного обращения технические знания не нужны.
- Согласуем объём После проверки определяем достижимый результат и порядок приёмки. Для крупной или неопределённой задачи называю ориентировочный диапазон. Если диагностика выявит дополнительные работы, обсуждаем их до выполнения.
- Исправляю и проверяю Выполняю согласованные изменения и контрольные проверки, перечисленные в составе услуги. Передаю описание результата и фактически затраченное время. Если исправление невозможно в доступном окружении или нужны действия провайдера, передаю проверенные данные, ограничения и следующий шаг.
Что вы получите
Рабочие файлы и настройки с понятной логикой включения страниц. Передам список изменённых правил и контрольных проверок.
Объём и ограничения
Настройка не гарантирует индексацию. Частные данные защищают средствами доступа, а не запретом в robots.txt.
Related case study
-
Fixing technical SEO recommendations
April 2024
Стоимость
$25/hour
Ставка — $25 в час. Оплата по фактически затраченному времени; объём и ориентир обсуждаем до старта. Стоимость зависит от числа типов URL и особенностей генератора карты. Лицензии, подписки и другие внешние расходы согласуются отдельно. Порядок и оплату диагностики согласуем до её начала; если объём меняется, согласуем дальнейшие действия.
Questions and answers
Disallow удалит страницу из Google?
Не обязательно. Для исключения из поиска выбирается подходящий механизм, например noindex. Чтобы прочитать его в HTML или HTTP-заголовке, робот должен иметь доступ к странице; одновременный запрет обхода может этому помешать.
Нужно включить в sitemap все URL?
Нет. Важны подходящие канонические страницы, доступные для индексации.
Можно оставить две карты сайта?
Можно, если структура обоснована. Дублирующиеся генераторы и противоречащие настройки проверю.
Describe your task
The first estimate is free. From your description and a link to the site I’ll give you a rough price and timeline. If paid diagnostics are needed, we agree on them before I start. I reply within one working hour, Mon–Fri 10:00–19:00 Tbilisi time (09:00–18:00 Moscow).
Faster on Telegram