Case: duplicate content door webserver instellingen
Sinds enkele maanden begeleidt Traffic Builders de zoekmachine-optimalisatie van Premie.nl, een verzekeringssite waar je onder andere de voordeligste premie voor je autoverzekering en scooterverzekering kunt vinden. Onlangs werd een duplicate content probleem ontdekt dat ertoe leidde dat Premie.nl geïndexeerd werd op een domeinnaam van Triodos Bank.
Duplicate content
Bij controle van de indexatie van Premie.nl bleek de website ook geïndexeerd onder een wel heel opvallende domeinnaam, namelijk die van Triodos Bank in de UK. Na enig zoekwerk bleek de oorzaak te liggen in een webserver instelling. Eén van de servers waarop een backup versie draait van Premie.nl bleek zodanig ingesteld dat bij http requests niet werd gekeken naar de hostname waar de request vandaan kwam. Alles wat werd gehost op hetzelfde IP adres toonde daardoor de backup versie van Premie.nl.
Toeval wilde dat iemand bij Triodos Bank in de UK een fout had gemaakt bij het instellen van één van hun subdomeinen. Hierdoor verwees http://demo.triodos.co.uk naar het IP adres van Premie.nl. Blijkbaar stond er ook nog ergens een link naar deze demo omgeving (vreemd overigens voor een bank?) waardoor Google de volledige site netjes indexeerde.
De oplossing is uiteraard eenvoudig: zorg ervoor dat de requests alleen door een zelf aangegeven set van hostnames kunnen worden gedaan. Maar het is wel frapant dat deze opeenstapeling van toevalligheden tot een dergelijk geval van duplicate content kan leiden, zeker voor een bank. Ook bij Triodos Bank is het probleem inmiddels verholpen.
Canonical tag
Ook het gebruik van de canonical tag op Premie.nl had dit kunnen voorkomen overigens.
De canonical tag kan worden geplaatst binnen de <head> sectie van de webpagina’s waarop de duplicate content zich bevindt en verwijst naar de url van de originele, te indexeren content.
Bijv.
<link rel=”canonical” href=”http://www.domeinnaam.nl/origineel.php” />
invoegen op de duplicate content pagina http://www.domeinnaam.nl/duplicate.php
