De dag dat ik mijn merelmodel slechter maakte!

Het begon klein. Ik wilde een lijstje invullen. Een paar honderd geluidsfragmenten naluisteren en er het juiste label aan hangen: zang, roep, alarm, dat soort werk. Saai maar nodig. Die lijst zou straks dienen als meetlat om mijn merelmodel bij te stellen, het stukje AI dat hier in de tuin onder andere merels herkent aan hun geluid. Eén van mijn 197 modellen, één voor elke vogelsoort.

Het werd een dag van twaalf uur en een model dat aan het eind slechter was dan toen ik begon. Oef.

Wat er aan de hand was

Mijn systeem luistert. Twee microfoons, zolder en berging, dag en nacht. Een AI herkent welke vogel zingt, en sinds kort ook hoe hij zingt. Is het zang, een alarmroep, of het bedelen van een jong. Dat laatste deel, de vocalisatie-herkenning, deugde niet voor de merel. Hij hoorde zang en noemde het van alles behalve zang.

Ik dacht te weten waarom. Mijn modellen zijn getraind op opnames van Xeno-canto. Een prachtige database, maar het zijn studio-achtige opnames. Eén vogel, dichtbij, schoon. En mijn microfoons hangen in Nijverdal. Daar is het nooit schoon. Daar zit altijd een kauw, een brommer, de buurman.

Het model heeft leren luisteren in een geluidsstudio en moet werken op een straathoek.

De oplossing leek logisch: train het model bij met écht Nijverdals achtergrondgeluid. Geen kunstmatige ruis, maar de echte kauwen en brommers van mijn eigen opnames.

Wat ik gedaan heb

Eerst die meetlat. 344 fragmenten met de hand beluisterd en gelabeld. Dat was confronterend werk. Niet omdat het moeilijk was, maar omdat ik op een gegeven moment honderd fragmenten achter elkaar deed en dacht dat het nog scherp was. Dat was het niet. Een goed oor wordt ook moe. Daar is een discussie over geweest. Ik kreeg ongelijk en gelijk tegelijk: mijn oor klopte wel, maar honderd fragmenten zonder pauze is geen goed idee. Beide waar.

Toen de ruis. Winteropnames opgediept (december, januari, als merels stil zijn) en 68 fragmenten verzameld waar gegarandeerd geen merel in zat. Allemaal nageluisterd. Gemeten hoe hard ze waren. Een echte bibliotheek van Nijverdalse achtergrond.

En toen het model opnieuw getraind, met die echte ruis erdoorheen gemengd.

Hoe het uitpakte

Het werd slechter. Niet een beetje. Fors nogal haha. Waar het oude model 44% van de zang goed had, zat het nieuwe op 19%. Het ging massaal “bedelroep” en “nachttrekroep” roepen bij doodgewone merelzang.

De waarschijnlijke oorzaak: ik heb de ruis te hard mee gemengd. Op de zwaarste instelling was de kauw bijna even luid als de merel. Het model heeft toen niet geleerd “merel mét achtergrond”, maar “vaag ruisgeluid”, en is daardoor de weg kwijtgeraakt.

Wat ik ervan vind

Eerlijk? Het was een rotgevoel. Twaalf uur werken en eindigen met een model dat het slechter doet. Even voelde het als een verspilde dag.

Maar dat is het niet, en hoe langer ik erover nadenk hoe zekerder ik dat weet. Ik heb dit op één soort geprobeerd. De Merel. Als proef. Niet op de 197 modellen die ik heb. Op één. En die ene proef gaf een glashelder antwoord: zo werkt het niet. Stel dat ik het meteen op alles had losgelaten. Dan had ik nu 197 kapotte modellen gehad in plaats van één mislukt experiment.

Een mislukte proef heeft gewoon zijn werk gedaan.

En er staat van alles overeind. Die meetlat van 344 fragmenten heb ik nu. Daarmee kan ik voortaan elk model hard afrekenen, geen onderbuikgevoel meer. De ruisbibliotheek staat klaar. De hele machinerie om dit te testen draait. Mijn werkende model is veilig, op drie plekken, niks kapot.

Het echte raadsel, waarom hoort dat model zang als bedelroep, ligt er nog. Maar ik weet nu wél waar het níét aan ligt. Niet aan hoe ik de geluidsfragmenten knip. Niet aan te weinig ruis. Het zit dieper, in de trainingsdata zelf. Dat is het volgende waar ik in ga graven. Wordt vervolgd dus…

Wat ik onthoud

Twee dingen.

Test op het kleine voordat je het op het grote loslaat. Eén soort, niet alle. Dat klinkt traag en dat is het ook wel. Het is wat je behoedt voor een “ramp”.

En meten kost tijd en het is nooit het leuke deel. Maar zonder die 344 fragmenten had ik nu niet geweten dat het nieuwe model slechter was. Dan had ik het misschien gewoon in gebruik genomen, trots, en pas weken later gemerkt dat mijn merels nergens meer klopten.

“Je beschermt wat je kent.” Vandaag heb ik vooral mijn eigen systeem beschermd. Door eerlijk erachter te komen dat mijn nieuwe idee toch niet werkte…

Ronny