Plik robots.txt i jego znaczenie

Suwnice reklama w internecie Baterie kuchenne

Jeśli nie chcemy, aby jakaś część danych lub podstron zawartych na naszej witrynie nie została zaindeksowana przez wyszukiwarki, możemy zablokować dostęp robotów wyszukiwarek do tych stron tworząc w tym celu odpowiednie wpisy w pliku robots.txt. Dzięki temu uzyskamy pewność, że poufne dane lub też wyniki stron, które są generowane dynamicznie nie zostaną zaindeksowane i nie będą wyświetlały się w wyszukiwarkach. Jeśli nie posiadamy wiedzy w jaki sposób odpowiednio napisać plik robots.txt możemy skorzystać ze specjalnego generatora, który znajduje się w narzędziach dla webmasterów firmy Google. Dodatkowo, warto dodać, iż oprócz rozróżnienia na pliki i katalogi które chcemy blokować, w pliku robots.txt zablokować możemy też roboty wybranych wyszukiwarek. Przykładowo zablokowanie robota wyszukiwarki Yahoo spowoduje, że nasza konkurencja nie będzie w stanie zlokalizować dokładnie stron z których prowadzą linki do naszej strony, a przy tym z powodu praktycznie zerowej popularności Yahoo w Polsce nie stracimy potencjalnego ruchu który mógłby z niej pochodzić, gdyż w sytuacja wyglądałaby identycznie w przypadku nieblokowania tego robota. Na koniec warto dodać, iż działanie wyszukiwarek warto sprawdzić po wgraniu pliku robots.txt do katalogu głównego serwera!

Zobacz również:

regeneracja pomp hydraulicznych Fototapety na ścianę Aplikacje internetowe