מנועי חיפוש זקוקים לכתובת אתר ייחודית לכל עמוד בכדי לאפשר סריקה ויצירת אינדקס ובכדי להפנות את המשתמשים לעמוד זה. בואו נסביר מעט על המבנה של כתובת URL ונתאר כיצד מנועי חיפוש מתייחסים לכתובות אלו. ניתן לומר כי באופן כללי כתובת URL מתפצלת למספר חלקים באופן הבא:
פוסט זה האופן בו גוגל ומנועי חיפוש מתייחסים לכתובות URL הופיע לראשונה ב סאבי.