Sökmotorer består i princip av tre komponenter, en robot som samlar in information, ett index över ord/fraser och diverse extra data från insamlade sidor och ett gränssnitt för att söka efter sidor.
Robotar
Robotarna utgår ifrån en lista med URLer och besöker med olika intervall dessa för att dels hämta information från dem och dels hitta nya URLer som inte finns på listan, många sökmotorer har också en funktion där man manuellt kan anmäla URLer som man vill att robotarna skall besöka. Sedan en tid finns även möjligheten att mha Google Webmaster Tools ladda upp en sitemap och på så sätt berätta för Google vilka sidor man har.
Genom att använda robots.txt och speciella META-taggar går det att styra vilka sidor som robotarna läser. Detta är viktigt om man har sidor på sin webbplats som man av någon anledning inte vill få indexerad.
Indexering
Vid indexeringen sammanställs vilka sidor som innehåller vilka ord eller fraser för att det sedan skall gå att söka bland dem. Detta görs alltså separat från sökningen, det är därför det går så fort att få svar på frågorna.
Sök
Sökfunktionen returnerar sedan vad den utifrån en viss algoritm tycker är relevanta länkar för en given fråga.
För en webmaster är algoritmen som bestämmer vilka sidor som är relevanta viktigast, men det förutsätter att föregående steg fungerar. Kommer roboten inte in på sidan eller om den inte kan hitta någon information på den så blir ju sidan/innehållet aldrig indexerad.
Som sökare efter information vill man ha bra och relevanta svar, även här är det viktigast att algoritmen kan hitta rätt sidor. Det är iofs bra om sökmotorna har ett stort och uppdaterat index, dvs roboten besöker många sidor och att indexet uppdateras ofta, men har man många sidor i indexet blir det ännu viktigare att algoritmen plockar ut de mest relevanta.
