Hoe weet ik wanneer mijn webpagina door een zoekmachine is geindexeerd?

Wanneer een zoekmachinerobot, ook wel spider, wanderer of crawler genoemd, uw webpagina indexeert is dit te vergelijken met een normale bezoeker die uw pagina opvraagt.

Indien een bezoeker een pagina opvraagt maakt hij zijn user-agent bekend, doorgaans MSIE (Internet Explorer) of Netscape. Spiders hebben eveneens een user-agent, die per zoekmachine verschilt.

Zo heeft de user-agent of spider van Google ´Googlebot ´, die van Altavista ´Scooter ´ en die van Ilse ´INGRID ´. Door de pageviews van deze user-agents na te kijken in uw website statistieken,. kunt u dus achterhalen of uw pagina is geïndexeerd.