Je hebt vast wel eens gehoord van ChatGPT, de AI oplossing van het bedrijf OpenAI.
Misschien gebruik je het wel voor je werk of school. De chatbot van OpenAI is een slimme chatbot omdat deze gebruik maakt van artificial intelligence, afgekort AI, wat betekent dat het kan leren van voorgaande situaties.
Met de chatbot van OpenAI kan je gesprekken voeren over allerlei onderwerpen. Je kan het zelfs blogs laten schrijven of herschrijven. Ik schrijf nog steeds mijn eigen blogs maar ik weet dat er mensen zijn die hun sollicitatiebrief door een chatbot laten schrijven.
Content op internet verzamelt om chatbot slimmer te maken:
De afgelopen jaren heeft het bedrijf OpenAI het internet min of meer leeggezogen om zijn chatbot van kennis te voorzien. Hierdoor begrijpt het jouw als gebruiker en kan je een bijna menselijk gesprek voeren omdat hij zich bewust is van de context en wat er in het verleden gezegd is. Dat is natuurlijk superknap!
Schending van auteursrecht:
Maar ik ben het niet eens met het feit dat OpenAI zonder toestemming de content van allerlei websites gekopieerd heeft. In principe is dat een schending van het Nederlands auteursrecht. Daarnaast rust er ook copyright op mijn content.
Of OpenAI mijn website ook bezocht heeft weet ik niet. Maar als beheerder van Timdehoog.nl ben ik er natuurlijk niet blij mee dat mensen antwoorden vinden via ChatGPT en daardoor niet meer mijn website bezoeken. Immers voor de meeste mensen gaat het om het antwoord of de oplossing. Waar het vandaan komt is minder belangrijk.
In alle blogs die ik schrijf gaat onbewust veel tijd zitten. Je moet dan denken aan minimaal 1 of 2 uur per blog. Door middel van advertenties verdien ik wat terug en kan ik ook de kosten voor domein, hosting en WordPress plugins betalen.
Blokkeren van ChatGPT en Google Bard:
Ik heb daarom besloten om ChatGPT voor indexatie van mijn website te blokkeren via het robots.txt bestand van mijn website. Voor het gemak heb ik meteen de concurrent Google Bard er ook maar bijgezet. Deze wijziging geldt alleen voor toekomstige content die ik publiceer. Content die al bij ChatGPT en Google Bard op de servers staan zal hierdoor niet verdwijnen.
De volgende regels heb ik toegevoegd:
User-agent: GPTBot Disallow: / User-agent: Google-Extended Disallow: /
Het robots.txt bestand upload je in de hoofdmap van jouw website. Waar je ook de bestanden .htaccess en index.php vind.
Heb je een WordPress website:
Dan genereert WordPress standaard een virtuele robots.txt met de onderstaande regels. Dit bestand vind je dus niet op de server terug. Als je zelf een robots.txt bestand maak moet je deze regels ook toevoegen.
User-agent: GPTBot User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.jouwdomein.nl/wp-sitemap.xml
Vergeet niet om de robots.txt opnieuw in te lezen:
Op internet kwam ik de tip tegen dat je Google moet vertellen dat je het robots.txt bestand bijgewerkt hebt. Anders kan het nog wel even duren voordat Google op de hoogte is van de nieuwe geblokkeerde bots die jouw website niet meer mogen bezoeken.
Dat doe je door naar deze pagina te gaan in Google Search Console.