Da die Anweisungen in meiner robots.txt oft ignoriert werden, wollte ich das noindex-Attribut in mein kleines Blog einbauen. Ich experimentierte also mit page.find(), fand nach kurzem Googeln aber eine schönere und viel einfachere Lösung.

Einfach folgenden Code in den Kopfteil der Seite packen.

{% if header.robots %}
    
{% endif %}

Und für jede Seite, die vom Crawler durch Google ausgeschlossen werden soll, robots: noindex,nofollow in die Markdowndatei des Blogposts schreiben.