# DERYBA — robots.txt

# Дозволяємо класичним пошуковикам та AI-краулерам індексувати
# публічний контент: каталог водойм, регіональні хаби, сторінки
# водойм, прогноз кльову, календар рибалки. Приватні зони та
# службові маршрути закриті.

# --- Всі боти (зокрема AI: GPTBot, ClaudeBot, PerplexityBot тощо) ---
User-agent: *
Allow: /
Disallow: /admin
Disallow: /admin/
Disallow: /cabinet
Disallow: /cabinet/
Disallow: /favorites
Disallow: /favorites/
Disallow: /login
Disallow: /api/
Disallow: /app
Disallow: /app/
Disallow: /spots
Disallow: /spots/

# Параметризовані URL із фільтрами (дублі контенту)
Disallow: /*?*facet=
Disallow: /*?*sort=
Disallow: /*?*page=
Disallow: /*?*q=

# --- OpenAI / ChatGPT: явний дозвіл для пошуку та цитування ---
# OAI-SearchBot — індексація для результатів пошуку ChatGPT (Atlas)
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /cabinet/
Disallow: /favorites/
Disallow: /login
Disallow: /api/
Disallow: /app/
Disallow: /spots/

# ChatGPT-User — переходи користувачів з ChatGPT на сайт
User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /cabinet/
Disallow: /favorites/
Disallow: /login
Disallow: /api/
Disallow: /app/
Disallow: /spots/

# GPTBot — навчання моделей (дозволено: контент публічний)
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /cabinet/
Disallow: /favorites/
Disallow: /login
Disallow: /api/
Disallow: /app/
Disallow: /spots/

# --- Небажані боти: SEO-скрапери, агресивні та небажані краулери ---
User-agent: SemrushBot
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: Bytespider
User-agent: YandexBot
Disallow: /

Sitemap: https://deryba.in.ua/sitemap.xml