Enzozo/Shutterstock Har du någonsin letat efter något på Google och undrat, & # 8220; Hur vet det var man ska leta? & # 8221; Svaret är & # 8220; webbsökare, & # 8221; som söker på nätet och indexerar det så att du enkelt kan hitta saker online. Vi kommer att förklara.
Sökmotorer och sökrobotar
När du söker med ett nyckelord på en sökmotor som Google eller Bing, siktar webbplatsen genom biljoner sidor för att skapa en lista med resultat relaterade till den termen. Hur exakt har dessa sökmotorer alla dessa sidor registrerade, vet hur man letar efter dem och genererar dessa resultat inom några sekunder?
Svaret är webbsökare, även kända som spindlar. Dessa är automatiserade program (ofta kallade & # 8220; robotar & # 8221; eller & # 8220; bots & # 8221;) som & # 8220; genomsöker & # 8221; eller surfa på nätet så att de kan läggas till i sökmotorerna. Dessa robotar indexerar webbplatser för att skapa en lista med sidor som så småningom visas i dina sökresultat.
Sökrobotar skapar och lagrar också kopior av dessa sidor i motorns databas, vilket gör att du kan göra sökningar nästan omedelbart. Det är också anledningen till att sökmotorer ofta innehåller cachade versioner av webbplatser i sina databaser.
RELATERAD: Hur man kommer åt en webbsida när den är nere
Webbplatskartor och urval
Griboedov/Shutterstock Så, hur väljer sökrobotar vilka webbplatser som ska genomsökas? Det vanligaste scenariot är att webbplatsägare vill att sökmotorer ska genomsöka sina webbplatser. De kan uppnå detta genom att be Google, Bing, Yahoo eller en annan sökmotor att indexera sina sidor. Denna process varierar från motor till motor. Sökmotorer väljer också ofta populära, väl länkade webbplatser som ska genomsökas genom att spåra hur många gånger en URL är länkad på andra offentliga webbplatser.
Webbplatsägare kan använda vissa processer för att hjälpa sökmotorer att indexera sina webbplatser. , till exempel
ladda upp en webbplatskarta. Det här är en fil som innehåller alla länkar och sidor som ingår i din webbplats. Det används vanligtvis för att ange vilka sidor du vill indexera.
Annons
När sökmotorerna redan har genomsökt en webbplats en gång kommer de automatiskt att genomsöka webbplatsen igen. Frekvensen varierar beroende på hur populär en webbplats är, bland andra mätvärden. Därför håller webbplatsägare ofta uppdaterade webbplatskartor så att motorer vet vilka nya webbplatser som ska indexeras.
Robotar och artighetsfaktorn
Vad händer om en webbplats inte vill att några eller alla sidor ska visas i en sökmotor? Du kanske till exempel inte vill att folk ska söka efter en sida endast för medlemmar eller se din 404-felsida. Det är här listan med undantag för genomsökning, även känd som robots.txt, spelar in. Detta är en enkel textfil som dikterar sökrobotar vilka webbsidor som ska uteslutas från indexering. En annan anledning till att robots.txt är viktigt är att webbsökare kan ha en betydande effekt på webbplatsens prestanda. Eftersom sökrobotar i huvudsak laddar ner alla sidor på din webbplats, förbrukar de resurser och kan orsaka avmattningar. De anländer till oförutsägbara tider och utan godkännande. Om du inte behöver dina sidor indexeras upprepade gånger kan stopp av sökrobotar hjälpa till att minska en del av din webbplatsbelastning. Lyckligtvis slutar de flesta sökrobotar att genomsöka vissa sidor baserat på webbplatsägarens regler. Under webbadressen och titeln på varje sökresultat i Google hittar du en kort beskrivning av sidan. Dessa beskrivningar kallas utdrag. Du kanske märker att utdraget av en sida i Google inte alltid stämmer överens med webbplatsens faktiska innehåll. Detta beror på att många webbplatser har något som heter & # 8220; metataggar, & # 8221; som är anpassade beskrivningar som webbplatsägare lägger till på sina sidor. Webbplatsägare kommer ofta med lockande metadatabeskrivningar skrivna för att få dig att klicka på en webbplats. Google listar också annan metainformation, såsom priser och lager tillgänglighet. Detta är särskilt användbart för dem som driver e-handelswebbplatser. Webbsökning är en viktig del av att använda internet . Att söka på nätet är ett utmärkt sätt att upptäcka nya webbplatser, butiker, samhällen och intressen. Varje dag besöker webbsökare miljontals sidor och lägger till dem i sökmotorerna. Medan sökrobotar har vissa nackdelar, som att ta upp webbplatsresurser, är de ovärderliga för både webbplatsägare och besökare. RELATERAD: Så här tar du bort de senaste 15 Protokoll från Googles sökhistorik LÄS NÄSTA Devenorr/Shutterstock
Metadata Magic
Din sökning