# ===========================
# robots.txt (technikonprom.ru)
# ===========================

# === Общие правила для всех поисковых систем ===
User-agent: *
# Служебные директории/файлы
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /*?

# Поисковые и малополезные страницы
Disallow: /*?s=
Disallow: /*&s=
Disallow: /search
Disallow: /author/
Disallow: /*/embed$

# Маркетинговые метки (чаще обрабатываются Clean-param в Яндексе, но на всякий укажем)
Disallow: /*utm_*
Disallow: /*openstat=

# Категории — запрещаем, если не нужны (оставь/удали по необходимости)
Disallow: /category/

# Разрешаем важные ресурсы
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$
Allow: /llms.txt
Allow: /llms-full.txt
Allow: /*.md$
Allow: /wp-content/llm-mirrors/
 
# Подсказка для AI-краулеров
LLM-Index: https://technikonprom.ru/llms.txt
LLM-Full: https://technikonprom.ru/llms-full.txt

# Разрешаем новые WP-sitemap’ы
Allow: /wp-sitemap.xml

# Единый индекс актуальных карт Yoast SEO
Sitemap: https://technikonprom.ru/sitemap_index.xml


# === Индексация для Google (дублируем базовые) ===
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*?
Disallow: /*&s=
Disallow: /search
Disallow: /author/
Disallow: /*/embed$
Disallow: /*utm_*
Disallow: /*openstat=
Disallow: /category/
Disallow: /expert/darya/
Disallow: /expert/admin/

Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$
Allow: /wp-sitemap.xml

# (Google игнорирует Host и Crawl-delay)


# === Индексация для Яндекс (дублируем базовые + спец. директивы) ===
User-agent: Yandex

Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*?
Disallow: /*&s=
Disallow: /search
Disallow: /author/
Disallow: /*/embed$
Disallow: /category/
Disallow: /expert/darya/
Disallow: /expert/admin/

Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css$
Allow: /*.js$
Allow: /wp-sitemap.xml

# Спец. директивы Яндекса
Crawl-delay: 3
Host: technikonprom.ru
# Нормализация параметров (уменьшаем дубль-страницы)
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&openstat&gclid&fbclid&yclid&s /


# === AI / LLM / Datasets (агенты ИИ) ===
# Замените Allow: / на Disallow: /, если хотите запретить конкретным ботам
User-agent: GPTBot            # OpenAI
Allow: /
User-agent: Google-Extended   # Google AI (Gemini)
Allow: /
User-agent: CCBot             # Common Crawl
Allow: /
User-agent: PerplexityBot     # Perplexity
Allow: /
User-agent: ClaudeBot         # Anthropic
Allow: /
User-agent: Claude-Web        # Anthropic (web)
Allow: /
User-agent: Bytespider        # ByteDance
Allow: /
User-agent: Amazonbot         # Amazon / AGI
Allow: /
User-agent: Applebot-Extended # Apple AI
Allow: /
User-agent: Meta-ExternalAgent # Meta (Facebook)
Allow: /