So blockieren Sie Crawler, Spinnen und Bots von Websites

Webcrawler blockieren
Das einzige, was mir oft aufgefallen ist, ist, dass ein No-Entry-Zeichen zwar meistens ausreicht, um zu verhindern, dass Personen einen Sperrbereich betreten, aber kein absolut narrensicherer Plan ist. Es wird immer einige Leute geben, die dieses Zeichen völlig …