Zoekmachine

Na 4 jaar heb ik mijn op maat gemaakte theme ingeruild voor een het standaard Twenty Twenty theme dat mee met WordPress wordt geleverd. De directe aanleiding? Een experiment rond optimalisatie voor zoekmachines. En in tweede instantie ook een aanzet om even na te denken hoe ik verder wil met mijn blog.

Alles begon dit voorjaar. Ik merkte toen al enige tijd dat dit artikel zowat alle verkeer naar mijn blog trok. Blijkt dat ik het derde zoekresultaat ben als je zoekt op “van proximus naar telenet“. Mooi, maar wat me echt opviel was dat de rest van mijn blog niet terug te vinden was in de zoekresultaten op andere trefwoorden. En een zoekactie op ‘site:netsensei.be’ leerde mij dat hoofdzakelijk de ‘tag’ overzichtspagina’s nog aanwezig waren.

En dus ben ik de laatste maanden af en aan wat aan het sleutelen geweest terwijl ik met de Google Search Console oog probeerde te houden op hoe de Google Bot reageerde. Ik heb onder de motorkap wat verbeteringen aangebracht qua performantie. Ik heb de sitemap liefde gegeven. En ik heb wat tweaks aangebracht in de meta tags om de zoekrobots ter wille te zijn. Helaas, niks lijkt echt te helpen.

Een groter probleem is dat de Google Search Console noch andere tools zoals Google Lighthouse je vlak af zullen zeggen wat het probleem precies is. Ergens is dat ook wel logisch. Google wil immers niet dat handigaards het systeem uitbuiten en zo overal de eerste plaats in de zoekresultaten inpalmen. Alleen, daardoor is het lastig voor bonafide website beheerders om ervoor te zorgen dat hun website beantwoordt aan Google’s vage eisen.

En dus, na eliminatie, vermoed ik dat een en ander te maken heeft met de HTML en CSS van mijn eigen theme. Die is ondertussen ook al weer een dikke 4 jaar oud. Een kleine eeuwigheid is dat in de wereld van de technologie. Bij wijze van experiment schakel ik tijdelijk over op het standaard theme van WordPress om dan na te gaan welke impact dat heeft op Google’s zoekresultaten. Het is een beetje de botte bijl, maar op dit punt is dat wel gerechtvaardigd denk ik.

De andere reden is de aanzet om even na te denken over waar ik naartoe wil. Een website bouwen en technisch onderhouden is leuk, maar ergens hoor je die wel regelmatig van updates en inhoud te voorzien. Anders houdt het ook wel op een gegeven moment op. Ten andere gaat deze blog mee sinds 2005. Het is leuk om mijn jongere zelf terug te lezen. Maar ik tegelijk ben ik nu in een ander hoofdstuk in mijn leven aanbeland. Ik worstel wat met de vraag in welke richting ik met mijn blog heen wil. Het is ook een vraag die ik onbeantwoord voor mij uit heb geschoven. En dus is deze back to basics ook voor mij even het moment om even na te denken over de toekomst van dit journaal.

In november lanceerden we op het werk Arthub Flanders. Sinds 2015 heb ik gestaag, en met de hulp van vele anderen, aan deze zoekmachine gebouwd. Je kan netjes zoeken in de gegevens van de kunst- en erfgoedcollecties van de Vlaamse musea voor visuele kunsten. Meer zelfs, die gegevens zijn vrij bruikbaar als Open Data. Momenteel ontsluit de catalogus een kleine 16.000 werken.

De catalogus zelf is gebouwd met Project Blacklight, een Ruby on Rails toepassing ontwikkeld door Stanford University Libraries. Onder de motorkap gaat een hele architectuur schuil van API’s en ETL pipelines. We jongleren tussen een aantal formaten en datamodellen. Catmandu, gebouwd door de Universiteitsbibliotheek Gent, is ons werkpaard. Tenslotte bouwden we met Symfony ook een tussenlaag waar we data persistent in bewaren. Dat is de Datahub.

Bijna vier jaar hard werken aan een project, daar leer je ongelofelijk veel uit. Meer nog dan over technologie, leer je vooral jezelf kennen. Succes is niet alleen doorzetten tot het je iets oplevert, succes definieert zich ook door hoe je de dingen uitvoert. Positivisme, vergevingsgezindheid, relativering, empathie, sympathie, geduld,… tegenover jezelf en anderen zijn zo enorm belangrijk. Maar ook vasthoudendheid en onverzetbaar jezelf verdedigen op het juiste moment, zijn broodnodig. Als kapitein moet je je schip ten allen tijde op koers houden. Anders geraak je nergens.

Het is leuk te weten dat je site wordt gevonden. Meer zelfs, het is leuk te weten dat je site wordt gevonden door mensen die je oprecht willen lezen: medebloggers, sympathisanten, en-ga-zo-maar-door. Via google bijvoorbeeld. En daar gaat het soms mis.

Zoekmachines zoals Google werken met nogal domme programma’s die dagelijks het web afluisteren, pagina’s verzamelen, daar dan informatie extraheren en op basis daarvan je website via ingewikkelde algoritmes zoals pagerank je website tonen in zoekresultaten wanneer die relevant is voor het ingegeven trefwoord. Het grote probleem is dat je dus een pak geluk moet hebben dat je website opduikt waar je hem graag zou willen hebben. In werkelijkheid worden website vaak gewoon “verkeerd geklasseerd”. En dat leidt dan weer tot een hoop frustratie. Enerzijds omdat je website vaker dan niet geen relevant zoekresultaat (signal to noise) vormt, anderzijds omdat jij een hoop mensen over de vloer krijgt die geen fluit geven om wat je schrijft. En in het slechtste geval van de gelegenheid gebruik maken om ook nog eens wat keet te schoppen.

Persoonlijke ervaring: een tijd geleden berichtte ik over de top 10 zoektermen waarmee men mij vond. Het resultaat was op zijn minst ontnuchterend te noemen: ongeveer alle mogelijke constellaties bestaande uit de trefwoorden paradise, hotel en erik of vt4. Een onderwerp waar ik een tijd geleden welgeteld 1 item aan had gewijd. De googlebot kende het potsje een hoge pagerank score toe waardoor het direct zeer hoog eindigde in elk zoekresultaat op die termen. Gevolg: een stroom mensen op zoek naar meer info over de TV show die hier belandden en niet noodzakelijk vonden waar ze naar op zoek waren. Sommigen gingen er zelfs vrij hard tegen aan in de commentaren. Om nog maar te zwijgen van de verbruikte – of verspilde zo u wil – bandbreedte!

Ten lange leste heb ik dan maar de hulp van een robots.txt bestand ingeroepen om de googlebot volledig buiten te houden. Mijn site wordt dus niet langer meer geïndexeerd door Google. En dat valt op zijn beurt weer op in de statistieken:

Maar is dit nu de juiste weg? Uiteindelijk ontloop ik het probleem alleen maar. Niemand vindt mijn site nu nog. Tenzij via links op andere blogs. Zou het gewoon niet mogelijk zijn om de robots te verhinderen om te indexeren op bepaalde trefwoorden? Zou het niet mogelijk zijn om dergelijk gedrag bij te sturen? Het omgekeerde bestaat immers: de metatag laat immers toe om een aantal trefwoorden te specifiëren. Jammer genoeg geraakt de metatag langzaam in onbruik en werd zelfs al dood verklaard!

Het zou anders wel mooi zijn moest er een gemakkelijkere wijze zijn om Google een handje te helpen. Alleen zie ik het technisch zo niet snel gebeuren. Om nog maar te zwijgen over bepaalde ethische kwesties.