§Δωρεάν έλεγχος ορατότητας AI
Διαβάζει η AI τον ιστότοπό σου;
Το ChatGPT, το Claude, το Perplexity και οι απαντήσεις AI της Google αναφέρουν μόνο σελίδες που μπορούν να φτάσουν και να διαβάσουν. Δώσε ένα URL: ελέγχουμε robots.txt, firewall, render και τα σήματα που ψάχνουν τα συστήματα AI, crawler προς crawler. Πρόσθεσε έναν ανταγωνιστή για να δεις και τα δύο δίπλα δίπλα.
01Ορατότητα AI
Αόρατοι κατά λάθος.
Οι μηχανές απαντήσεων AI δεν βλέπουν έναν ιστότοπο όπως ένας επισκέπτης. Για να αναφέρουν μια σελίδα η αναζήτηση του ChatGPT, το Claude, το Perplexity ή οι λειτουργίες AI της Google, ένας crawler πρέπει να του επιτρέπεται η είσοδος από το robots.txt, να περάσει το firewall και να βρει το περιεχόμενο στο HTML που του στέλνεται.
Οι ιστότοποι τους κλείνουν την πόρτα κατά λάθος συνέχεια. Ένας κανόνας robots.txt αντιγραμμένος από ένα παλιό άρθρο που μπλοκάρει κάθε AI crawler, εκπαίδευσης και αναζήτησης μαζί. Μια ρύθμιση CDN που διώχνει τα AI bots από την άκρη του δικτύου. Μια εφαρμογή JavaScript με άδειο κέλυφος για HTML. Τίποτα από αυτά δεν φαίνεται στον browser, οπότε κανείς δεν το προσέχει.
Δεν είναι κάθε μπλοκάρισμα λάθος. Η εξαίρεση από την εκπαίδευση AI είναι θεμιτή επιλογή, και η OpenAI, η Anthropic και η Perplexity έχουν ξεχωριστούς crawlers για εκπαίδευση και για αναζήτηση, οπότε μπορείς να πεις όχι στον έναν και ναι στον άλλο. Αυτός ο έλεγχος δείχνει ποιος είναι ποιος, ώστε ό,τι μπλοκάρεις να το μπλοκάρεις επίτηδες.
02Πώς δουλεύει
Πέντε βήματα, καμία εικασία.
01
Σελίδα
Φέρνουμε τη σελίδα όπως ένας crawler: μόνο δημόσιες διευθύνσεις, το πολύ δέκα δευτερόλεπτα και πέντε megabytes, και διαβάζουμε ό,τι υπάρχει στο HTML.
02
robots.txt
Διαβάζουμε το robots.txt σου και βρίσκουμε, crawler προς crawler, αν επιτρέπεται η συγκεκριμένη σελίδα, με τους ίδιους κανόνες αντιστοίχισης που χρησιμοποιούν οι crawlers (RFC 9309).
03
Ως crawler
Ζητάμε ξανά τη σελίδα ως OAI-SearchBot, PerplexityBot και ClaudeBot, για να δούμε αν ένα firewall τους αντιμετωπίζει διαφορετικά. Σημειώνουμε επίσης ποιο CDN ή firewall βρίσκεται μπροστά.
04
Σε όλο το site
Ελέγχουμε τις σελίδες της πλοήγησής σου και μία σελίδα ανά ενότητα του sitemap: πρόσβαση, noindex, κείμενο στο HTML και structured data.
05
Σήματα
Ψάχνουμε για llms.txt, εκδοχή markdown, sitemap, Content Signals και structured data.
03Τι ελέγχει
Πρόσβαση, περιεχόμενο, σήματα.
- ✓Κανόνες robots.txt για 15 crawlers: μηχανές αναζήτησης, crawlers αναζήτησης AI, βοηθούς που φέρνουν σελίδες κατόπιν αιτήματος και crawlers εκπαίδευσης AI.
- ✓Αν ένα firewall ή CDN απαντά στους AI crawlers διαφορετικά από ό,τι σε έναν browser.
- ✓noindex και noai, σε meta tags και σε headers.
- ✓Αν το περιεχόμενο είναι στο HTML που στέλνει ο server ή σχεδιάζεται αργότερα με JavaScript.
- ✓Title, meta description, γλώσσα και canonical.
- ✓Structured data, με τους ελέγχους του Second Copy από πίσω.
- ✓llms.txt, markdown κατόπιν αιτήματος, το sitemap και τα Content Signals.
- ✓Ένα εργαλείο διόρθωσης robots.txt: διάλεξε πολιτική και πάρε ένα αρχείο που την εφαρμόζει, με τους υπόλοιπους κανόνες σου να μένουν.
- ✓Μια προεπισκόπηση του κειμένου που παίρνουν οι crawlers, και οι έλεγχοι snippet (nosnippet, max-snippet, data-nosnippet) που περιορίζουν τι μπορούν να χρησιμοποιήσουν οι λειτουργίες AI της Google.
- ✓Ένα δείγμα έως 14 σελίδων, από την πλοήγησή σου και μία ανά ενότητα του sitemap, με έλεγχο για πρόσβαση στο robots.txt, noindex, σφάλματα, κείμενο στο HTML και structured data.
- ✓Ένα προσχέδιο llms.txt από την πλοήγησή σου και έως 32 σελίδες σου, και έλεγχο του llms.txt που ήδη έχεις.
- ✓Μια σύγκριση δίπλα δίπλα με το site ενός ανταγωνιστή, ελεγμένο με τον ίδιο τρόπο την ίδια στιγμή.
- ✓Το CDN ή το firewall μπροστά από το site, και πού βρίσκονται οι ρυθμίσεις του για AI bots.
- ✓Έναν σύνδεσμο για να μοιραστείς τον έλεγχο, που τον τρέχει ξανά για όποιον τον ανοίξει.
04Τι δεν βλέπει
Εκεί που σταματά ο κώδικας.
- —Αν οι απαντήσεις AI σε αναφέρουν πράγματι. Κανείς δεν μπορεί να το μετρήσει αξιόπιστα απ' έξω, και δεν προσποιούμαστε ότι μπορούμε.
- —Πώς αντιμετωπίζονται οι πραγματικοί crawlers. Έρχονται από επαληθευμένες διευθύνσεις· εμείς μόνο δανειζόμαστε τα ονόματά τους, οπότε ένα firewall ίσως τους αντιμετωπίζει διαφορετικά.
- —Crawlers που δεν περιλαμβάνουμε, και τις περισσότερες σελίδες σου: ελέγχουμε αυτή που μας δίνεις και ένα δείγμα από το sitemap σου, όχι κάθε URL.
- —Ό,τι βρίσκεται πίσω από login ή paywall. Βλέπουμε ό,τι βλέπει ένας ανώνυμος επισκέπτης.
05Ερωτήσεις
Για το Guest List
- Είναι δωρεάν;
- Ναι. Δεν χρειάζεται λογαριασμός και δεν ζητάμε email για τα αποτελέσματα. Ένα captcha κρατά έξω την αυτόματη κίνηση και κάθε επισκέπτης μπορεί να κάνει έως δέκα ελέγχους κάθε δέκα λεπτά.
- Θα με κάνει αυτό να αναφέρομαι από το ChatGPT;
- Όχι από μόνο του. Ελέγχει ότι τα συστήματα AI μπορούν να φτάσουν και να διαβάσουν τη σελίδα σου· το αν θα την αναφέρουν εξαρτάται από το αν η σελίδα απαντά καλά στην ερώτηση. Το να διαβάζεται είναι το πρώτο κομμάτι που ελέγχεις εσύ.
- Μπορεί να διορθώσει το robots.txt μου;
- Σου γράφει ένα. Διάλεξε πολιτική (ανοιχτό στην AI, αναζήτηση ναι και εκπαίδευση όχι, ή η AI μένει έξω) και το Guest List ξαναγράφει το robots.txt σου για τους 12 AI crawlers που ξέρει, κρατώντας τους υπόλοιπους κανόνες, τις γραμμές sitemap και τα σχόλιά σου. Το αντιγράφεις ή το κατεβάζεις και το ανεβάζεις εσύ· τίποτα δεν αλλάζει στον ιστότοπό σου μέχρι να το κάνεις.
- Μπορώ να συγκρίνω το site μου με ενός ανταγωνιστή;
- Ναι. Πρόσθεσε ένα δεύτερο URL κάτω από τη φόρμα και τα δύο sites ελέγχονται με τον ίδιο τρόπο την ίδια στιγμή και εμφανίζονται δίπλα δίπλα: πρόσβαση στην αναζήτηση AI, firewalls, render, structured data και τα υπόλοιπα. Μετράει για δύο ελέγχους.
- Μπορώ να μοιραστώ τα αποτελέσματα;
- Αντίγραψε τον σύνδεσμο πάνω από τα αποτελέσματα. Δεν κρατά αποθηκευμένη αναφορά: τρέχει ξανά τον έλεγχο για όποιον τον ανοίξει, οπότε βλέπει το site όπως είναι τότε. Η διεύθυνση του site μπαίνει μετά από ένα # στον σύνδεσμο, που οι browsers δεν στέλνουν όταν φορτώνουν τη σελίδα.
- Πρέπει να μπλοκάρω τους crawlers εκπαίδευσης AI;
- Δική σου απόφαση. Το μπλοκάρισμα των GPTBot, ClaudeBot ή CCBot κρατά το περιεχόμενό σου έξω από μελλοντική εκπαίδευση, αλλά δεν σε βγάζει από την αναζήτηση του ChatGPT ή τις απαντήσεις του Claude, που χρησιμοποιούν άλλους crawlers. Εξαίρεση είναι το Google-Extended: καλύπτει και το Gemini όταν χρησιμοποιεί τις σελίδες σου στις απαντήσεις του.
- Ποια η διαφορά ανάμεσα στο GPTBot και το OAI-SearchBot;
- Η OpenAI χρησιμοποιεί το GPTBot για να συλλέγει δεδομένα εκπαίδευσης και το OAI-SearchBot για να βρίσκει σελίδες για την αναζήτηση του ChatGPT. Μπορείς να μπλοκάρεις το πρώτο και να επιτρέψεις το δεύτερο. Η Anthropic (ClaudeBot και Claude-SearchBot) και η Perplexity δουλεύουν με τον ίδιο τρόπο.
- Το robots.txt μου επιτρέπει τους AI crawlers. Γιατί λέει ότι τους μπλοκάρει ένα firewall;
- Το robots.txt είναι παράκληση· το firewall είναι τοίχος. Πολλά CDN, ανάμεσά τους η Cloudflare, μπορούν να μπλοκάρουν τους AI crawlers στην άκρη του δικτύου. Όταν αυτό είναι ενεργό, το robots.txt δεν μετράει, γιατί ο crawler δεν παίρνει ποτέ τη σελίδα.
- Χρειάζομαι llms.txt;
- Όχι. Είναι πρόταση, όχι πρότυπο, και οι μεγάλοι crawlers δεν βασίζονται σε αυτό. Προστίθεται εύκολα και κάποια εργαλεία AI το χρησιμοποιούν, γι' αυτό το δείχνουμε ως προαιρετικό. Αν θέλεις ένα, το Guest List το γράφει σε προσχέδιο από τις δικές σου σελίδες.
- Αποθηκεύετε ό,τι ελέγχω;
- Όχι. Φέρνουμε τη σελίδα, μερικά αρχεία και ένα δείγμα σελίδων από το sitemap σου, τα ελέγχουμε και τα πετάμε. Τα αποτελέσματα μένουν στη μνήμη για δέκα λεπτά, ώστε ο επανέλεγχος να είναι άμεσος. Τα analytics μας καταγράφουν ότι έγινε ένας έλεγχος, ποτέ ποιο URL.
Πέρα από τις πόρτες
Το να διαβάζεσαι είναι το πρώτο βήμα. Το να αξίζεις αναφορά είναι η δουλειά.
Το άνοιγμα των θυρών θέλει ένα απόγευμα. Σελίδες που απαντούν καθαρά σε πραγματικές ερωτήσεις, με markup που συμφωνεί μαζί τους, θέλουν σχέδιο. Γράψαμε γιατί το GEO είναι κυρίως καλό SEO στο Το GEO είναι απλώς SEO με μεγαλύτερη μνήμη.