Sådan blokerer du Krybere, edderkopper og Bots fra hjemmesider

den ene ting, jeg ofte har bemærket, er, at mens et No Entry-sign for det meste er tilstrækkeligt til at forhindre folk i at overtræde et begrænset område, er det ikke en absolut idiotsikker plan. Der vil altid være nogle mennesker, der vil have fuldstændig tilsidesættelse af dette tegn og vil vove sig ind i det begrænsede område. Brug af robotter.denne fil til at afvise kravler fra en bestemt hjemmeside er ens. Mens instruktionerne i robotterne.det betyder ikke sætte nogen form for et mandat. Der er en mulighed for, at nogle edderkopper stadig vil gennemgå din side. Derfor er der behov for at blokere krybere.

i en tidligere artikel skrev vi om, hvordan man forbyder Krybere, edderkopper og Bots fra hjemmesider. Selvom denne metode er effektiv, synes den tydeligvis ikke at være tilstrækkelig. Derfor, for at løse dette problem, der opstår, bliver vi nødt til at komme med et arbejde rundt, og jeg vil give dig netop det. Nu, i stedet for bare at afvise kryberne med instruktioner i robotterne.vi vil blokere gennemsøgere.

metoden nedenfor til blokering af kravler er blevet prøvet på Apache 2.4.7 (installeret på Ubuntu). Jeg forventer, at det skal arbejde med Apache 2.4.hvis du ikke er i stand til at implementere metoderne nedenfor på din Apache, så skriv til mig i kommentarfeltet. Giv oplysninger om din Apache-version og serveroperativsystem. Hvis du vil give følsomme oplysninger, så kan du skrive til mig på [email protected].

HTTP Basic Authentication til at blokere Gennemsøgere

den første metode, jeg vil demonstrere for at blokere gennemsøgere, bruger HTTP Basic Authentication. Nogle gange har du måske stødt på godkendelsesboksen, når du forsøger at få adgang til et par hjemmesider som billedet nedenfor.

ovenstående boks vises, når HTTP-godkendelse er implementeret. For at gennemføre dette skal du redigere virtualhost konfigurationsfil af dit domæne.

Opret en adgangskodefil

første trin er at oprette adgangskodefil, der indeholder brugernavn og adgangskode. Opret forbindelse til din server ved hjælp af SSH og udfør nedenstående kommando

 htpass-c < path_of_the_passord_file> < brugernavn>

Erstat <path_of_the_passord_file> med det sted, hvor du vil oprette en fil, der gemmer brugernavn og adgangskodekombination i krypteret format. Af hensyn til forklaringen, lad os antage, at du giver en sti /hjem/tahseen/Desktop. Erstat <brugernavn> med det ønskede brugernavn. Til demonstrationsformål vil jeg oprette et brugernavn. Så nu skal din kommando se noget ud som nedenfor.

htpass-c / hjem / tahseen / Desktop / adgangskode

efter udskiftning af adgangskode fil placering og brugernavn i ovenstående kommando, tryk enter. Det beder dig om adgangskoden til det brugernavn, du vil tilføje. Giv det en adgangskode, og tryk på enter. Når du har tilføjet brugernavn til filen, viser den en meddelelse, der tilføjer adgangskode til bruger <brugernavn>, hvor <brugernavn> vil være Brugernavn, du ville tilføje. Billedet nedenfor hjælper dig med klart at forstå, hvad jeg siger.

Bemærk: i ovenstående kommando har vi bestået-C mulighed, så den opretter en fil. Hvis du allerede har en fil, hvor det skal gemme brugernavn-adgangskode kombination, så behøver du ikke at give-C parameter.

Rediger konfigurationsfil

indtil nu har vi oprettet brugernavn og adgangskode. Nu er det tid til at tilføje disse oplysninger i site konfiguration. Dette trin hjælper os med at blokere krybere fra vores hjemmeside. Lad os sige, du forsøger at gennemføre dette for abc.com. Virtualhost konfiguration for dette domæne vil være i directory / etc / apache2 / sites-tilgængelig mappe. Jeg antager, at konfigurationsfilen til abc.com er abc.com. conf. Åbn den konfigurationsfil til redigering ved hjælp af kommandoen nedenfor.

sudo nano / etc / apache2 / sites-tilgængelig / abc.com. conf

Tilføj nedenfor indhold i slutningen af VirtualHost blok af konfigurationsfilen.

< Directory / > #tillader interne IP ' er at få adgang til hjemmesider direkte. Hvis du ikke har interne IP ' er, skal du udelade nedenstående linje kræver ip 192.168.2.1/24 # Udskift /var/.adgangskode med den filsti, du har angivet i kommandoen AuthType Basic AuthUserFile /var/.adgangskode AuthName "Authentication påkrævet" kræver gyldig-bruger tilfredsstille enhver< / Directory>

når du har tilføjet ovenstående indhold, skal du gemme filen og genindlæse Apache ved at skyde kommandoen nedenfor.

sudo service apache2 reload

du er færdig! Prøv nu at besøge hjemmesiden, det skal spørge dig brugernavn og adgangskode (hvis du ikke besøger fra internt netværk). Hvis denne godkendelse dukker op, har dit forsøg på at blokere krybere fungeret!

svar med 403 for at blokere Larvebånd

den anden metode til at blokere larvebånd er at svare med 403 til larvebånd. I denne metode vil vi forsøge at opdage brugeragenter af krybere og blokere dem. Ulempen ved denne metode er, hvis useragent ændres, kan kravler gennemgå indholdet.

du kan tilføje indholdet nedenfor i .htaccess-fil til at blokere gennemsøgere. Hvis det ikke virker efter tilsætning i .htaccess-fil, så bliver du nødt til at foretage redigeringer i virtualhost-konfigurationsfilen for det tilsvarende domæne, som vi gjorde i tidligere metode.

< IfModule mod_skriv.c>Omskrivningengine Påskrivninganden % {HTTP_USER_AGENT} ^.*(googlebot|bingbot|yahoo|AhrefsBot|Baiduspider|Ezooms|MJ12bot|YandexBot|bot|agent|spider|crawler|extractor).* $ Omskrivningsregler .* - < / IfModule>

hvis det stadig ikke virker, skal du sørge for, at Omskrivningsmodulet er aktiveret. For at gøre det skal du køre kommandoen nedenfor.

apachectl-M

hvis det ikke viser omskrivning_module i output, skal du aktivere det for at kunne blokere. Hvis du ikke ved, hvordan du aktiverer det, skal du henvise til artiklen, aktiver Omskrivningsmodul.

ovenstående to metoder skal være betydelige for at hjælpe dig med at blokere gennemsøgere fra din hjemmeside. Imidlertid, hvis du stadig har problemer, er du velkommen til at komme i kontakt med mig gennem kommentarfeltet.

• Ordtrykstips & Tricks
• med tags: apache, blok kravler, HttpBasicAuthentication, Iscenesættelsessteder, edderkopper