‘Met basisstatistiek zit je vaak beter’

Vincent Hentzepeter | Foto: QAducation

“Statistiek laat zien hoe groot de kans is dat je iets fout hebt, dat maakt de wereld complex. Harde getallen? Die bestaan niet. Neem meet-
onzekerheid. Stel: je grens voor afkeur is 30, je meet 29, en je onzekerheidsmarge is 5. Dan ligt jouw 95% betrouwbaarheidsresultaat dus tussen de 24 en 34. De kans is dus best groot dat je met 29 alsnog te hoog zit.

Toch wordt zo’n getal meestal als absoluut beschouwd en krijgt de analyse een groen vinkje. Ik merk dat men hier vaak niet aan wil. Komt de zaak voor de rechter, dan wordt dit wel meegenomen, maar in de praktijk wordt de partij goedgekeurd bij ‘29’. Die importeur ook weer blij… Op zich begrijp ik dat wel. Punt is dat je een wettelijke limiet hebt die geen rekening houdt met meetonzekerheid. Dit is gewoon een door de wetenschap bepaald maximum of minimum.

Maar besef dat wat je bepaalt niet exact is, het zou zomaar 10% anders kunnen zijn, en is eerder een best guess. Begrijpelijk dat niet elk lab er bij elke meting al die toeters en bellen bij kan halen om aan te tonen dat het meetresultaat binnen de limietwaarde valt, maar belangrijk is de onzekerheid in je resultaat wel, en die kan groot zijn, zeker in de lage concentratiegebieden.

Er is veel discussie over dit thema, omdat de eisen die RvA stalt aan geaccrediteerde labs streng zijn, de meetonzekerheid moet bepaald worden. Voor veel labs geldt echter dat geen enkele opdrachtgever erom vraagt, maar ben je geaccrediteerd, dan moet je het wel netjes berekenen, anders krijg je straf van de RvA.”

Verkeerde formule

“Je ziet vaak dat statistiek niet goed doortimmerd wordt in de opleidingen. Hele boeken heb ik aan statistiek gewijd. In mijn laatste, dat eind vorig jaar uitkwam, ga ik wederom terug naar de basis: meetonzekerheid, validatie prestatiekenmerken, methodevergelijking, kalibratie…Waar ik van schrik is dat statistiek heel moeilijk wordt gevonden in labs. Ik merk dat er best vaak fouten gemaakt worden tegen statistische principes.

Hoe vaak zie ik niet dat meetonzekerheid met een volkomen verkeerde formule bepaald is. Dat een proefopzet om reproduceerbaarheid, haalbaarheid of een detectiegrens te bepalen niet juist is. Natuurlijk, er komt altijd wel een getal uit, maar is die ‘10’ die je bepaalt statistisch wel juist? Regelmatig constateer ik dat herhaalbaarheid en reproduceerbaarheid bij het bepalen van prestatiekenmerken door elkaar gehaald worden. Voor de bepaling van deze laatste spreiding moet je zorgen dat de normale variabiliteit in je lab voldoende in je proefopzet zit.

Dat begint met dat je metingen niet te dicht op elkaar mag hebben zitten. Neem het gebruik van het controlemonster om de statistische grenzen van je analysewaarden te bepalen. Die waarde komt op je controlekaart en bepaalt of je je meetreeks accepteert of verwerpt, en is een van de belangrijke onderdelen van je kwaliteitssysteem als analist. Je bepaalt er de spreiding mee die je binnen je statistische grenzen mag accepteren bij een meting.

Wil je die waarde netjes bepalen, dat moet je op minstens 10 verschillende werkdagen je controlemonster draaien om de dag-tot-dag-spreiding te coveren en de verschillen van analist tot analist. Nu de praktijk. Kom ik op een lab dat ervaren en geaccrediteerd was en daar zag ik dat die controlekaart was opgestart met 10 punten die direct na elkaar waren gemeten.

Dan heb je niet je reproduceerbaarheid, maar je herhaalbaarheid bepaald. Ja, iedereen weet dat, maar ‘haast’. Het controlekaartmateriaal is bijna op, dan vlug maar even. Zo bepaal je veel te smalle grenzen, je krijgt dus veel te veel afkeur. En een meetserie afkeuren met 10 monsters is niet fijn.”

“Bij statistiek moet je gevoel hebben wat wel en niet kan en wat de consequenties zijn van je keuzes. Dat is ook een ervaringskwestie. Voor een statistische bewerking heb je legio statistische technieken tot je beschikking, allemaal te vinden op internet. Mijn stelling is dat het altijd het best is om te werken met een simpele techniek. Hoe ingewikkelder je techniek, hoe moeilijker het je voor jezelf maakt.

Een rekenfout of misinterpretatie is dan snel gemaakt. Je ziet bijvoorbeeld dat er gekozen wordt om een ingewikkelde multivariate techniek te gebruiken. Je meet meer varianten dan bij univariaat, maar dat geeft niet per se een betere oplossing. Als je het hele spectrum pakt, terwijl de informatie in de piek zit, dan is de rest van je curve ruis. Je gaat dan zeg 30 extra variabelen inbrengen die je resultaat helemaal niet beter maken, integendeel.

Bij moleculaire analyses zie ik de verleiding gebruik te maken van een sigmoïdale curve; met zo’n cumulatieve normaalkansverdeling ga je al snel de mist in. Wiskundig is die tegenwoordig gemakkelijk te bepalen: begint op nul buigt dan door en stijgt naar 1. Het is een ingewikkeld model dat het gevoel geeft dat je een betere waarde krijgt. Toch zit je meestal beter met het trekken van een eenvoudige rechte lijn door het centrum, dat neem je als waarden aan het begin van de curve niet mee, waar feitelijk geen info inzit.

Neem je gewoon ouderwets één punt onder het buigpunt en een erboven, dan krijg je nauwkeurigere waarden dan met dat geavanceerde, sigmoïdale model!”

“Ik wil er maar mee zeggen: ‘Ingewikkeld is niet in alle gevallen beter, je moet begrijpen wat je doet. Gebruik geen internettechnieken die je niet kent, je komt er niet meer uit, soms ken ik ze niet eens. Kijk je dan naar de details, dan zie je dat die techniek voor de vraagstelling helemaal niet gebruikt kan worden. Statistiek haal je niet van internet, dan wordt het al snel behoorlijk complex, hou het bij de basistechnieken: dan zit je vaak beter.”

________________________________________________

Statistische kennis bijspijkeren: lees het boek ‘Statistiek, validatie en meetonzekerheid’: labinsights.nl/artikel/boek-statistiek-validatie-en-meetonzekerheid-voor-het-lab.

Of bekijk de cursus:
www.qaducation.nl/product/statistiek-laboratorium/