one for all

Generatore robots.txt

Indica ai motori di ricerca e agli altri bot quali parti del tuo sito possono visitare.

Sigillato su questo dispositivo

Funziona nel tuo browser. Non viene caricato nulla.

Sigillato

Regole

Tutti i crawler

Facoltativo. Bing e alcuni altri bot lo rispettano; Google lo ignora.

Bot IA

GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot e altri che raccolgono contenuti per addestrare modelli di IA. Non influisce sulla Ricerca Google.

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot e altri. Le tue pagine potrebbero non comparire più nelle risposte delle IA.

Crawler specifici

    Un indirizzo completo per riga, ad esempio https://example.com/sitemap.xml.

    Il tuo robots.txt

    
                
    
                    
    Da controllare
    
                    
      
                
      
                
            
      
            
      
                
                
            
      
        
      

        
      
            
      Testa un indirizzo
      
            
      
                
      
                    
      
                        
                        
                    
      
                    
      
                        
                        
                    
      
                
      
                
      
                    
      
                    
      
                    
      
                
      
            
      
        
      
    
      

      


        
      
        
    
      

      


      
    
      
        
      Come funziona
      
        
        
                        
      1. 
                
        Scegli la regola generale
        
                
        Consenti tutto, blocca tutto oppure elenca i percorsi che i crawler devono saltare. Le configurazioni pronte ti aiutano a iniziare.
        
            
        2. 
                        
      2. 
                
        Aggiungi bot IA, crawler e sitemap
        
                
        Blocca i crawler di addestramento IA con un clic, aggiungi regole per bot specifici ed elenca le tue sitemap.
        
            
        3. 
                        
      3. 
                
        Testa e pubblica
        
                
        Testa qualche indirizzo, poi scarica il file e mettilo nella radice del tuo sito: example.com/robots.txt.
        
            
        4. 
                    
      
    
      

    
      
        
      Domande frequenti
      
        
      
                        
      
                Dove va messo il file robots.txt?
                
      Nella radice del tuo dominio, in modo che sia raggiungibile su https://tuo-sito.it/robots.txt. Ogni sottodominio ha bisogno del proprio file. I crawler non lo cercano da nessun’altra parte.
      
            
      
                        
      
                Il robots.txt nasconde una pagina a Google?
                
      No. Chiede ai crawler di non visitare una pagina, ma la pagina può comunque comparire nei risultati se altri siti la linkano. Per tenere una pagina fuori da Google, lasciala scansionare e aggiungi un meta tag noindex, oppure proteggila con una password.
      
            
      
                        
      
                Come blocco i crawler IA come GPTBot?
                
      Spunta «Blocca i crawler di addestramento IA». Il file chiederà allora a GPTBot, ClaudeBot, Google-Extended e agli altri bot di addestramento di stare lontani da tutto il sito. I bot corretti lo rispettano, ma il robots.txt è una richiesta, non un lucchetto.
      
            
      
                        
      
                Cosa succede quando le regole Allow e Disallow sono in conflitto?
                
      Google e la maggior parte dei crawler moderni applicano la regola più specifica, quella con il percorso corrispondente più lungo. Se due regole hanno la stessa lunghezza, vince Allow. Il tester di questa pagina segue la stessa logica.
      
            
      
                        
      
                Cosa significano * e $ in un percorso?
                
      L’asterisco corrisponde a qualsiasi sequenza di caratteri, quindi /*.pdf corrisponde a tutti i PDF. Il simbolo del dollaro indica la fine dell’indirizzo, quindi /*.pdf$ corrisponde agli indirizzi che finiscono esattamente con .pdf.
      
            
      
                        
      
                Devo aggiungere la sitemap al robots.txt?
                
      Sì, è un modo semplice per aiutare tutti i motori di ricerca a trovarla. Usa l’indirizzo completo, compreso https://. Puoi elencare più sitemap.
      
            
      
                    
      
    
      

    
      
        
                
                
    
      

      


    
      
    
    
    
      
        
      
            Installa One For All sul tuo computer
            
        
      
        
    
      
    
      One For All si apre così in una finestra tutta sua, come un’app, direttamente dal desktop o dalla schermata Home. Non serve scaricare nulla da uno store, e i tuoi file continuano a restare sul tuo dispositivo.
      
        
        
        
        
                
      1. Fai clic sull’icona di installazione a destra della barra degli indirizzi, oppure apri il menu del browser (⋮).
        2. 
                
      2. Scegli «Installa One For All» o «Installa pagina come app»: viene aggiunto un collegamento sul desktop e tra le tue app.
        3. 
            
      
        
        
        
      
        
    
      
      
        
    
      
        
      Scaricare il motore di questo strumento?
      
        
    
      
    
      Questo strumento funziona interamente nel tuo browser. Per farlo, deve scaricare da One For All gli elementi qui sotto, una sola volta. Poi restano salvati su questo dispositivo, così la prossima volta lo strumento si avvia subito.
      
    
    
    
    
      I tuoi file non vengono mai inviati da nessuna parte.