# robots.txt — Peace & Living (v4) — 2026-08-17
# v3 (2026-07-01): ปลดบล็อก AI retrieval/search bots เพื่อให้ถูกอ้างใน ChatGPT / Claude / Perplexity / Gemini
# v4 (2026-08-17): ปลดบล็อก /search /site-search /thank-you — เหตุผลด้านล่าง
#
# 🔑 หลักที่ต้องจำ: "ห้ามคลาน" กับ "ห้ามเก็บเข้าดัชนี" เป็นคนละเรื่องกัน
#    ถ้าบล็อกในไฟล์นี้ Google จะเข้ามาอ่านหน้าไม่ได้ จึงไม่เห็นคำสั่ง noindex ที่ตัวหน้า
#    แล้วเอาไปขึ้นดัชนีจากลิงก์ภายนอกแทน แบบไม่มีคำอธิบาย (GSC เตือนตั้งแต่ 6 มิ.ย. 2569)
#    → หน้าไหนไม่อยากให้เก็บ ต้อง "เปิดให้คลาน + ใส่ noindex ที่ตัวหน้า" เสมอ
#
#    /search        = หน้า "โครงการทั้งหมด" คนเข้าอันดับ 5 ของเว็บ และมี SEO ตั้งไว้ใน CMS
#                     → เปิดให้เก็บ ส่วนหน้าที่ติดตัวกรอง (?type=&zone=) ใส่ noindex ที่ตัวหน้า
#    /site-search   = เครื่องมือค้นหา ไม่ควรขึ้นผลค้นหา → noindex อยู่ที่ pages/site-search.js
#    /thank-you     = หน้าหลังส่งฟอร์ม ไม่ควรขึ้นผลค้นหา → noindex อยู่ที่ pages/thank-you*.js
#
#    /*/preview/ กับ /404 ยังบล็อกไว้: ไม่มีลิงก์ที่ไหนชี้เข้าไป Google จึงหาไม่เจออยู่แล้ว
#    (และ /404 ตอบสถานะ 404 อยู่แล้ว จึงไม่มีทางเข้าดัชนี)

# ── Search engines ทั่วไป + default ─────────────────────────────
User-agent: *
Allow: /
Disallow: /?*
Disallow: /api/
# 2026-08-18 ปลดบล็อก /_next/ แล้ว · โฟลเดอร์นี้เก็บ JS/CSS และรูปที่ผ่าน /_next/image
# ของ Next.js ถ้าบล็อกไว้ Googlebot จะ render หน้าไม่ครบ (Google ระบุเองว่าห้ามบล็อก
# JS/CSS) และรูปที่ผ่านตัวย่อขนาดจะเข้า Google Images ไม่ได้เลย · ไฟล์พวกนี้ไม่ถูก
# ทำดัชนีเป็นหน้าอยู่แล้ว จึงไม่ต้องกัน
Disallow: /cdn-cgi/
Disallow: /*/preview/
Disallow: /404

# ── AI SEARCH / RETRIEVAL bots — ALLOW (เป้าหมาย AEO/GEO/AIO) ────
# OpenAI (ChatGPT search + user fetch)
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Google Gemini / Vertex grounding (ไม่กระทบ Google Search/AIO indexing)
User-agent: Google-Extended
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# ── AI TRAINING crawlers — ALLOW (ตั้งใจให้เข้า corpus เพื่อ AI จำเราได้) ──
# หมายเหตุ: ถ้าภายหลังต้องการ "กันเนื้อหาไปเทรน" ให้เปลี่ยน Allow: /  เป็น  Disallow: /
User-agent: GPTBot
Allow: /
User-agent: CCBot
Allow: /

# ── SEO tool crawlers — rate limit (กันโหลดหนัก) ────────────────
User-agent: SemrushBot
Crawl-delay: 5
User-agent: AhrefsBot
Crawl-delay: 5
User-agent: MJ12bot
Crawl-delay: 10

# ── Aggressive scraper — block ─────────────────────────────────
User-agent: Bytespider
Disallow: /

# ── Host & Sitemap ─────────────────────────────────────────────
Host: https://www.peaceandliving.co.th
Sitemap: https://www.peaceandliving.co.th/sitemap.xml