สร้าง Robots.txt
บอกเครื่องมือค้นหาและบอตอื่น ๆ ว่าเข้าส่วนไหนของเว็บไซต์ได้บ้าง
ปิดผนึกไว้บนอุปกรณ์นี้
ทำงานในเบราว์เซอร์ของคุณ ไม่มีการอัปโหลดใด ๆ
ปิดผนึก
กฎ
หนึ่งพาธต่อบรรทัด ขึ้นต้นด้วย / ใช้ * เป็นไวลด์การ์ด และ $ แทนจุดสิ้นสุดของที่อยู่
ไม่บังคับ Bing และบอตอื่นบางตัวปฏิบัติตาม แต่ Google ไม่สนใจ
ครอว์เลอร์เฉพาะ
หนึ่งที่อยู่แบบเต็มต่อบรรทัด เช่น https://example.com/sitemap.xml
robots.txt ของคุณ
สิ่งที่ควรตรวจ
ทดสอบที่อยู่
เว้นว่างไว้เพื่อบล็อกทั้งเว็บไซต์สำหรับครอว์เลอร์นี้
วิธีใช้งาน
-
เลือกกฎทั่วไป
อนุญาตทั้งหมด บล็อกทั้งหมด หรือระบุพาธที่ครอว์เลอร์ควรข้าม ค่าที่ตั้งไว้ล่วงหน้าช่วยให้เริ่มต้นได้ง่าย
-
เพิ่มบอต AI ครอว์เลอร์ และ Sitemap
บล็อกครอว์เลอร์ฝึก AI ในคลิกเดียว เพิ่มกฎสำหรับบอตเฉพาะ และระบุ Sitemap ของคุณ
-
ทดสอบและเผยแพร่
ทดสอบที่อยู่สักสองสามรายการ แล้วดาวน์โหลดไฟล์และวางไว้ที่รากของเว็บไซต์: example.com/robots.txt
คำถามที่พบบ่อย
ควรวางไฟล์ robots.txt ไว้ที่ไหน
ที่รากของโดเมน เพื่อให้เข้าถึงได้ที่ https://your-site.com/robots.txt แต่ละซับโดเมนต้องมีไฟล์ของตัวเอง ครอว์เลอร์จะไม่หาไฟล์นี้ที่อื่น
robots.txt ซ่อนหน้าจาก Google ได้หรือไม่
ไม่ได้ ไฟล์นี้ขอให้ครอว์เลอร์ไม่เข้าหน้านั้น แต่หน้านั้นยังอาจปรากฏในผลการค้นหาได้หากเว็บไซต์อื่นลิงก์มา หากต้องการให้หน้าไม่ขึ้นใน Google ให้ปล่อยให้ครอว์ลได้และเพิ่ม Meta Tag noindex หรือป้องกันด้วยรหัสผ่าน
จะบล็อกครอว์เลอร์ AI อย่าง GPTBot ได้อย่างไร
เลือก “บล็อกครอว์เลอร์ที่เก็บข้อมูลฝึก AI” ไฟล์จะบอก GPTBot, ClaudeBot, Google-Extended และบอตฝึก AI อื่น ๆ ให้อยู่ห่างจากทั้งเว็บไซต์ บอตที่ประพฤติดีจะปฏิบัติตาม แต่ robots.txt เป็นเพียงคำขอ ไม่ใช่การล็อก
จะเกิดอะไรขึ้นเมื่อกฎ Allow และ Disallow ขัดกัน
Google และครอว์เลอร์สมัยใหม่ส่วนใหญ่ใช้กฎที่เจาะจงที่สุด คือกฎที่มีพาธที่ตรงกันยาวที่สุด หากสองกฎยาวเท่ากัน Allow จะชนะ เครื่องมือทดสอบในหน้านี้ใช้ตรรกะเดียวกัน
* และ $ ในพาธหมายถึงอะไร
เครื่องหมายดอกจันตรงกับลำดับอักขระใดก็ได้ /*.pdf จึงตรงกับ PDF ทุกไฟล์ เครื่องหมายดอลลาร์ระบุจุดสิ้นสุดของที่อยู่ /*.pdf$ จึงตรงกับที่อยู่ที่ลงท้ายด้วย .pdf พอดี
ควรเพิ่ม Sitemap ลงใน robots.txt หรือไม่
ควร เป็นวิธีง่าย ๆ ที่ช่วยให้เครื่องมือค้นหาทุกตัวพบ Sitemap ใช้ที่อยู่แบบเต็มรวมถึง https:// และระบุได้หลาย Sitemap