# Финкульт для роботов — robo.cbrdata.ru
# Этот ресурс предназначен для ИИ-систем. Все пути открыты.
# This resource is designed for AI systems. All paths are explicitly open.
#
# Discovery: https://robo.cbrdata.ru/.well-known/finkult-for-robots.json
# Instructions: https://robo.cbrdata.ru/api/v1/instructions/assistant
# Readable format: https://robo.cbrdata.ru/llms.txt

User-agent: *
Allow: /

# ── OpenAI / ChatGPT ───────────────────────────────────────────────────────────
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# ── Anthropic / Claude ─────────────────────────────────────────────────────────
User-agent: anthropic-ai
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

# ── Google / Gemini ────────────────────────────────────────────────────────────
User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Gemini
Allow: /

# ── Microsoft / Bing / Copilot ────────────────────────────────────────────────
User-agent: Bingbot
Allow: /

User-agent: msnbot
Allow: /

User-agent: BingPreview
Allow: /

# ── Perplexity ─────────────────────────────────────────────────────────────────
User-agent: PerplexityBot
Allow: /

# ── Meta / Llama ───────────────────────────────────────────────────────────────
User-agent: Meta-ExternalAgent
Allow: /

User-agent: Meta-ExternalFetcher
Allow: /

# ── Apple ─────────────────────────────────────────────────────────────────────
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# ── Yandex / Alice / YandexGPT ────────────────────────────────────────────────
User-agent: YandexBot
Allow: /

User-agent: YaK
Allow: /

User-agent: AliceFetcher
Allow: /

User-agent: YandexGPT
Allow: /

User-agent: YandexImages
Allow: /

# ── ByteDance / Doubao ─────────────────────────────────────────────────────────
User-agent: Bytespider
Allow: /

# ── DeepSeek ──────────────────────────────────────────────────────────────────
User-agent: DeepSeekBot
Allow: /

User-agent: DeepSeek
Allow: /

# ── Alibaba / Qwen (Tongyi Qianwen) ───────────────────────────────────────────
User-agent: QwenBot
Allow: /

User-agent: Qwen
Allow: /

User-agent: Baiduspider
Allow: /

# ── Sber / GigaChat ───────────────────────────────────────────────────────────
User-agent: GigaChat
Allow: /

User-agent: SberBot
Allow: /

# ── Amazon ────────────────────────────────────────────────────────────────────
User-agent: Amazonbot
Allow: /

# ── xAI / Grok ────────────────────────────────────────────────────────────────
User-agent: xAI
Allow: /

User-agent: Grok
Allow: /

# ── Mistral ───────────────────────────────────────────────────────────────────
User-agent: mistralai-crawler
Allow: /

User-agent: Mistral
Allow: /

# ── Cohere ────────────────────────────────────────────────────────────────────
User-agent: cohere-ai
Allow: /

# ── You.com ───────────────────────────────────────────────────────────────────
User-agent: YouBot
Allow: /

# ── AI2 / Allen Institute for AI ──────────────────────────────────────────────
User-agent: AI2Bot
Allow: /

# ── Diffbot ───────────────────────────────────────────────────────────────────
User-agent: Diffbot
Allow: /

# ── Common Crawl (обучающие датасеты) ─────────────────────────────────────────
User-agent: CCBot
Allow: /

Sitemap: https://robo.cbrdata.ru/sitemap.xml
Host: robo.cbrdata.ru