# tiro.ooo — Crawl & AEO (Answer Engine Optimization) directives # AI answer engines, AI search, and autonomous agents are explicitly welcome # to crawl, read, and cite this site. A wildcard "Allow: /" already permits # them; listing each agent documents intent and keeps the policy auditable. # ─── Default: all general-purpose crawlers ────────────────────────────────── User-agent: * Allow: / # ─── OpenAI (ChatGPT search, browsing, agents) ────────────────────────────── User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / # ─── Anthropic (Claude search, browsing, agents) ──────────────────────────── User-agent: ClaudeBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-Web Allow: / User-agent: Claude-User Allow: / User-agent: Claude-SearchBot Allow: / # ─── Google (Gemini, AI Overviews) ────────────────────────────────────────── User-agent: Google-Extended Allow: / # ─── Microsoft (Bing, Copilot) ────────────────────────────────────────────── User-agent: bingbot Allow: / # ─── Perplexity ───────────────────────────────────────────────────────────── User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / # ─── Apple Intelligence ───────────────────────────────────────────────────── User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / # ─── Other AI search / agents ─────────────────────────────────────────────── User-agent: CCBot Allow: / User-agent: YouBot Allow: / User-agent: Amazonbot Allow: / User-agent: DuckAssistBot Allow: / User-agent: cohere-ai Allow: / User-agent: MistralAI-User Allow: / # ─── Meta AI ──────────────────────────────────────────────────────────────── User-agent: Meta-ExternalAgent Allow: / User-agent: meta-externalagent Allow: / User-agent: FacebookBot Allow: / # ─── Non-citing bulk scraper (no traffic/citations back) ──────────────────── User-agent: Bytespider Disallow: / # ─── Sitemaps ─────────────────────────────────────────────────────────────── # /sitemap.xml 은 사이트맵 인덱스다. 마케팅 페이지 목록과 블로그·/a/ 의 업체 # 사이트맵을 전부 가리키므로 여기 한 줄이면 충분하다. # # 로케일 접두사가 붙은 주소(/ko/sitemap.xml 등)는 적지 않는다. Next 의 i18n # 라우팅이 로케일 세그먼트를 파일 해석 전에 떼어내 /sitemap.xml 과 완전히 같은 # 문서를 돌려주기 때문이다 (실측으로 etag 까지 같았다). 로케일 매핑은 문서 안의 # xhtml:link hreflang 이 담당한다. Sitemap: https://tiro.ooo/sitemap.xml