Ik bepaal wat mag , het belang van een robots.txt

Geschreven door : oktober 23, 2008 No reactie

Neem de titel niet te letterlijk want als puntje bij paaltje komt ben je de l.. Nike Air Max 1 Homme Nike Air Max 2016 Dames Zwart NIKE AIR ZOOM PEGASUS 33 😮 Eigenlijk iets waar ik nooit iets zou over schrijven , was het niet dat ik gisteren een les aan het maken was voor de ecommerce cursus waar dat onderwerp even aan bod kwam en eigenlijk iets waar menige webmasters nooit (of te weinig) gebruik van maken zo bleek. Asics Gel Lyte 5 Homme Nike Air Max Thea Heren blauw

GS Air Jordan 11 Jordan 11 Sale new balance 1500 bordeaux femme

Robots.txt file

De robots.txt is een file die ervoor zorgt dat je kan gaan bepalen wat zoekrobots (crawlers) wel of niet mogen bezoeken op/in je site en daarom een handig middel om bepaalde delen van je site te gaan uitsluiten. Nike Air Max Command Femme nike air zoom pegasus 83 hombre Jordan Eclipse Rod Carew Baseball Jersey Als je trouwens vermoed dat Google (of andere) bepaalde delen van je site niet bezoekt, kijk dan eerst even in je robots.txt of het probleem daar niet ligt. Nike Air Max 2016 Uomo

Boston Celtics nike air presto bambini nike cortez shop online italia Deze file is natuurlijk niet de 'holy grail' en er durven nogal eens wat misverstanden opduiken. nike free run swarovski nike tn pas cher Russell Wilson Jerseys Laten we de belangrijkste even opsommen :

  1. De robots.txt is een publieke file wat wil zeggen dat iedereen die op je site komt die kan opvragen en dus kan zien welke pagina's / folders / bestanden je gaat uitsluiten. ff14 gil for sale bns gold Julian Edelman Kopen Nike Air Max 2017 Goedkoop Stel je hebt een betalende community site waar mensen betalen voor je informatie maar hebt er verder geen beveiliging op zitten, dan kunnen ze via de robots.txt die inhoud toch opsporen. New Balance 997 homme Adidas Yeezy 350 Homme Noir AIR JORDAN 11
  2. nike air max pas cher Het klinkt ver gezocht maar je moet maar eens zien hoeveel toegang tot betalende e-books je daarmee kan vinden.

  3. De robots.txt is slechts een richtlijn wat je geeft maar als een bot geprogrammeerd is om die te negeren, dan kan je daar verder weinig aan doen. New Balance 530 homme Kopen nike air max schoenen Maglia Grant Hill asics femme pas cher new balance 999 for sale Ik denk niet dat je een autodief zal tegenhouden door er een bordje aan te hangen met 'gelieve deze wagen niet te stelen'…
  4. De pagina's / folders / bestanden die je uitsluit kunnen toch nog worden geïndexeerd (en gerankt) door Google (of andere) als er wordt naar gelinkt door bijvoorbeeld een collega van je.

Hoe maak je die ?

De makkelijkste manier om die op te maken is je kladblok openen, er zijn ook online tools die je kunnen helpen bij de opmaak. Asics Gel Lyte 3 Femme Grise De meest gekende is diegene die je in je google webmaster tools

New – Maxs Woodworking 75% Commish Plus Upsells

account kan vinden. Asics Femme Pas Cher Scarpe Adidas Italia nike tanjun bambini Maar zelf gebruik ik die dingen nooit, kladblok gaat een stuk sneller. New Balance 530 femme Air Max 2014 Homme

soldes air max 1 asics gel pulse 6 sklep biegacza Bij de User-agent kan je specifieke bots gaan opsommen (hier vind je eventueel een lijst, of check je logfiles even). Adidas Zx Flux Femme Nike Air Max 2017 Uomo Nere

Aaron Rodgers Packers Jerseys air max thea grise et rose pas cher Een sterretje is een wildcard en geld dan 'in principe' voor alle bots. new balance 993 Nike Air Max 90 Donna Bianche

Naast disallow kan je natuurlijk ook Allow gebruiken. AIR PEGASUS 92-16 Sac Kanken Nike Air Max 2016 Heren wit

  • Nike Free 5.0 Men
  • asics flamingo sklep Dit hier zijn volgens mij de meest voorkomende / courrante Je volledige site uitsluiten – als je bijvoorbeeld een site aan het verplaatsen bent of je maakt een nieuwe, wilt die online testen maar nog niet laten crawlen User-agent: * Disallow: / Een pagina uitsluiten: User-agent: * Disallow: /pagina.html Een folder uitsluiten: User-agent: * Disallow: /directory/ Alle images voor Google: User-agent: Googlebot-Image Disallow: / Bepaalde images voor Google: User-agent: Googlebot-Image Disallow: /images/mijnlelijkefoto.jpg Image folders voor Google: User-agent: Googlebot-Image Disallow: /images/ Specifieke bestanden: User-agent: * Disallow: /*.gif$ Disallow: /*.jpeg$ Disallow: /*.pdf$ Wel opletten als je wildcards én specifieke bots gaat uitsluiten. Emmanuel Sanders Jerseys

  • Air Jordan 4 Donna
  • new balance 998 homme 2015 Bij dit voorbeeld hier gaat de Googlebot enkel gaan kijken naar wat specifiek voor hem is bedoeld en zal in ons voorbeeld hier dus wel /directory/ , /images/fotos.jpg en de pdf files gaan crawlen ! User-agent: * Disallow: /directory/ Disallow: /images/fotos.jpg Disallow: /*.gif$ Disallow: /*.jpeg$ Disallow: /*.pdf$ User-agent: Googlebot Disallow: /*.gif$ Disallow: /*.jpeg$ Volgens mij was dit zowat het eerste basic artikel wat ik ooit schreef maar niet te min, altijd goed om te weten.

    No reactie op : Ik bepaal wat mag , het belang van een robots.txt
    Skipp de reacties en laat me mijn zegje doen...

    No comments yet.

    Sorry, the comment form is closed at this time.