Zoekmachine Cuil laat websites crashen

Cuil, de zoekmachine die Google angstzweet zou moeten bezorgen, zorgt voor grote problemen op websites. De crawler van deze zoekmachine zou zo actief zijn, dat hij sommige websites laat crashen.

Cuil zorgt voor grote problemen, zo meldt Techcrunch. De Twiceler indexing bot zorgt ervoor dat sommige websites tijdelijk down gaan. De zoekmachine indexeert een site zo grondig, dat de crawler een overdaad aan traffic op websites loslaat. Websites hebben door deze actie van Cuil de hoeveelheid toegestane traffic moeten beperken om hun website nog enigszins gebruiksvriendelijk te houden. Op sommige websites kwam de crawler van Cuil in een maand tijd wel 70.000 keer langs. Hierbij gebruikte de Twiceler bot van de zoekmachine 2GB aan bandbreedte.

Andere kritiek die website-eigenaren hebben op de crawler van de zoekmachine, is de manier van indexeren. Zo zou Cuil totaal geen wetenschappelijke aanpak hanteren en volgens sommigen zelfs amateuristisch en willekeurig te werk gaan. Daarbij komt nog, dat er bots zijn die zich voordoen als de Twiceler en ook zorgen voor problemen. Deze bots zijn echter niet afkomstig van Cuil.

Cuil zelf heeft nog niet uitgebreid op de kwestie gereageerd. De Operational Engineer van de zoekmachine heeft wel aangegeven dat de Twiceler bot een experimentele crawler is die nog in ontwikkeling is. Websites die de crawler van de zoekmachine niet meer willen ontvangen, kunnen dit aangeven. De crawler van Cuil komt dan niet meer langs.

Cuil had ten opzichte van Google en Yahoo! zeker voordelen, zo bleek uit een test op TBlog. Het lijkt er nu echter wel op dat Cuil snel moet handelen om de problemen te verhelpen. Anders kan het nog slecht aflopen met de zoekmachine.