Odpowiedz 
 
Ocena wątku:
  • 0 Głosów - 0 Średnio
  • 1
  • 2
  • 3
  • 4
  • 5
plik robots.txt
04-09-2012, 11:38 PM
Post: #1
plik robots.txt
Plik robots.txt pozwala poinformować wyszukiwarki, które pliki mają zostać zaindeksowane, a które życzylibyśmy sobie, żeby nie były indeksowane przez nie. Oczywiście nie zawsze wyszukiwarki się dostosują, ale warto je stosować.
Dla Każdej wyszukiwarki można stworzyć osobną regułę.
User-Agent: * ta reguła określa, że pliki dotyczą wszystkich wyszukiwarek. Jeśli zamiast gwiazdki wpiszemy nazwę robota sieciowego reguły zawarte będą odnosiły się tylko do niego.
np. User-Agent: yahoo reguły będą się odnosić się tylko do robota Yahooo.
Sitemap: http://www.x.pl/sitemap.xml gdzie x to nazwa naszej domeny informumuje wyszukiwarki, gdzie znajduje się mapa naszej witryny.
Disallow: określa katalog, do którego dana wyszukiwarka nie ma dostępu.
np. Disallow: /panel/* odnosi się do wszystkich plików w katalogu panel.
Oczywiście zamiast gwiazdki można podać nazwę konkretnego pliku.
Plik robots.txt nie jest zabezpieczeniem przed indeksowaniem plików, do tego celu lepiej stosować miejsca wymagające logowania lub umieszczać w katalogach niewidocznych w sieci. Stosowanie tego pliku odpowiada metatagom robots ułatwia pracę przy edycji tych plików..
Odwiedź stronę użytkownika Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
12-04-2012, 01:42 PM
Post: #2
RE: plik robots.txt
Dobry tutek choć z tego co gdzieś czytałem w robots mamy tylko wskazówki jak chcemy żeby na 100% nic googlebot nie zobaczył trzeba zastosować inne metody.

Dobry soft do monitorowania sieci komputerowych AdRemsoft network monitoring software
Znajdź wszystkie posty użytkownika
Odpowiedz cytując ten post
Odpowiedz 


Skocz do:


Użytkownicy przeglądający ten wątek: 1 gości