one for all

Tạo robots.txt

Cho công cụ tìm kiếm và các bot khác biết những phần nào trên website mà chúng được phép truy cập.

Đã niêm phong trên thiết bị này

Chạy ngay trong trình duyệt. Không có gì được tải lên.

Đã niêm phong

Quy tắc

Mọi trình thu thập

Không bắt buộc. Bing và một số bot khác tuân theo; Google bỏ qua.

Bot AI

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot và các bot khác thu thập nội dung để huấn luyện mô hình AI. Không ảnh hưởng đến Google Tìm kiếm.

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot và các bot khác. Khi đó, trang của bạn có thể không còn xuất hiện trong câu trả lời của AI.

Trình thu thập cụ thể

    Mỗi dòng một địa chỉ đầy đủ, ví dụ https://example.com/sitemap.xml.

    Tệp robots.txt của bạn

    
                
    
                    
    Điểm cần kiểm tra
    
                    
      
                
      
                
            
      
            
      
                
                
            
      
        
      

        
      
            
      Kiểm tra một địa chỉ
      
            
      
                
      
                    
      
                        
                        
                    
      
                    
      
                        
                        
                    
      
                
      
                
      
                    
      
                    
      
                    
      
                
      
            
      
        
      
    
      

      


        
      
        
    
      

      


      
    
      
        
      Cách hoạt động
      
        
        
                        
      1. 
                
        Chọn quy tắc chung
        
                
        Cho phép tất cả, chặn tất cả, hoặc liệt kê các đường dẫn mà trình thu thập nên bỏ qua. Các mẫu có sẵn giúp bạn bắt đầu.
        
            
        2. 
                        
      2. 
                
        Thêm bot AI, trình thu thập và sitemap
        
                
        Chặn trình thu thập huấn luyện AI chỉ với một cú nhấp, thêm quy tắc cho từng bot cụ thể, và liệt kê các sitemap của bạn.
        
            
        3. 
                        
      3. 
                
        Kiểm tra và xuất bản
        
                
        Kiểm tra vài địa chỉ, rồi tải tệp xuống và đặt ở thư mục gốc của website: example.com/robots.txt.
        
            
        4. 
                    
      
    
      

    
      
        
      Câu hỏi thường gặp
      
        
      
                        
      
                Tôi đặt tệp robots.txt ở đâu?
                
      Ở thư mục gốc của tên miền, để truy cập được tại https://website-cua-ban.com/robots.txt. Mỗi tên miền phụ cần một tệp riêng. Trình thu thập không tìm tệp này ở bất kỳ nơi nào khác.
      
            
      
                        
      
                robots.txt có ẩn trang khỏi Google không?
                
      Không. Tệp này yêu cầu trình thu thập không truy cập trang, nhưng trang vẫn có thể xuất hiện trong kết quả nếu các website khác liên kết đến nó. Để giữ một trang ngoài Google, hãy cho phép thu thập và thêm thẻ meta noindex, hoặc bảo vệ trang bằng mật khẩu.
      
            
      
                        
      
                Làm sao để chặn trình thu thập AI như GPTBot?
                
      Đánh dấu “Chặn trình thu thập huấn luyện AI”. Khi đó, tệp sẽ yêu cầu GPTBot, ClaudeBot, Google-Extended và các bot huấn luyện khác tránh xa toàn bộ website của bạn. Các bot tuân thủ quy tắc sẽ làm theo, nhưng robots.txt chỉ là lời yêu cầu, không phải ổ khóa.
      
            
      
                        
      
                Điều gì xảy ra khi quy tắc Allow và Disallow mâu thuẫn?
                
      Google và hầu hết trình thu thập hiện đại áp dụng quy tắc cụ thể nhất, tức quy tắc có đường dẫn khớp dài nhất. Khi hai quy tắc dài bằng nhau, Allow được ưu tiên. Công cụ kiểm tra trên trang này tuân theo cùng logic đó.
      
            
      
                        
      
                * và $ có nghĩa gì trong đường dẫn?
                
      Dấu sao khớp với bất kỳ chuỗi ký tự nào, nên /*.pdf khớp mọi tệp PDF. Dấu đô la đánh dấu cuối địa chỉ, nên /*.pdf$ khớp các địa chỉ kết thúc đúng bằng .pdf.
      
            
      
                        
      
                Có nên thêm sitemap vào robots.txt không?
                
      Có, đây là cách đơn giản giúp mọi công cụ tìm kiếm tìm thấy sitemap. Hãy dùng địa chỉ đầy đủ, kể cả https://. Bạn có thể liệt kê nhiều sitemap.
      
            
      
                    
      
    
      

    
      
        
                
                
    
      

      


    
      
    
    
    
      
        
      
            Cài đặt One For All trên máy tính của bạn
            
        
      
        
    
      
    
      Sau đó, One For All sẽ mở trong cửa sổ riêng như một ứng dụng, ngay từ màn hình nền hoặc màn hình chính của bạn. Không cần tải gì từ cửa hàng ứng dụng, và các tệp của bạn vẫn nằm trên thiết bị.
      
        
        
        
        
                
      1. Nhấp vào biểu tượng cài đặt ở bên phải thanh địa chỉ, hoặc mở menu của trình duyệt (⋮).
        2. 
                
      2. Chọn “Cài đặt One For All” hoặc “Cài đặt trang dưới dạng ứng dụng”: một lối tắt sẽ được thêm vào màn hình nền và danh sách ứng dụng của bạn.
        3. 
            
      
        
        
        
      
        
    
      
      
        
    
      
        
      Tải xuống bộ xử lý của công cụ này?
      
        
    
      
    
      Công cụ này hoạt động hoàn toàn trong trình duyệt của bạn. Để làm được điều đó, công cụ cần tải các thành phần bên dưới từ One For All, chỉ một lần duy nhất. Sau đó, chúng được lưu trên thiết bị này nên lần sau công cụ sẽ khởi động ngay.
      
    
    
    
    
      Tệp của bạn không bao giờ bị gửi đi đâu cả.