Voor competitieve activiteiten zoals tennis, schaken en bridge bestaan er al langer ratingsystemen. Die dienen meestal om wedstrijdschema’s uit te tekenen. Maar ze zijn voor de spelers ook belangrijk want ze stimuleren de prestaties.
Wijn proeven is wel niet echt een competitieve activiteit, maar wijn determineren is dat tenminste één keer per jaar wel. Ik heb het dan natuurlijk over de jaarlijkse hoogmis van de Vlaamse Wijngilde: Ken Wijn-wedstrijd.
Ik besloot dus een aantal jaar geleden om voor wijn determineren een puntensysteem op te zetten, de wine tasters rating, dat kan gebruikt worden als motivatie voor de deelnemers maar ook om de teams samen te stellen. Het is immers logisch om de sterkste spelers in één team te zetten, tenminste als men een zo groot mogelijke kans wil maken om Ken Wijn-wedstrijd te winnen. En dat doel was vorig jaar, in 2009, angstwekkend dichtbij… het was inderdaad het team samengesteld uit de sterkste spelers van dat moment, dat ei zo na de hoofdvogel afschoot.
Voorwaarden voor een goed ratingsysteem
Een goed systeem moet aan vier voorwaarden voldoen.
Ten eerste moeten de ratings beperkt zijn tot hanteerbare getallen. In schaak, bijvoorbeeld, liggen de Elo-ratings tussen pakweg 1000 en 3000. Zulke getallen zijn voor mensen begrijpbaar en ook te onthouden.
Ten tweede met het systeem een zeker aanpassingsvermogen hebben. Wanneer een proever z’n kunde verandert, moet ook het getal snel volgen. Dus wie traint en daardoor op blindproeverijen scoort, moet snel een hogere rating krijgen.
Ten derde dient het voorspellend vermogen te bezitten. De relatieve rating van twee proevers moet de uitslag van een proeverij redelijk nauwkeurig kunnen voorspellen. Dus als de speler A honderd punten heeft (beginner) en speler B tweehonderd (gevorderd), dan moet de kans groot zijn dat speler B hoger scoort dan speler A. Dat lijkt logisch, maar het is niet zo eenvoudig te realiseren. In tennis, bijvoorbeeld, is aangetoond dat de rating in feite te weinig zegt over de winstkansen van de spelers.
Ten vierde moet het stabiliteit vertonen. Bij gelijke startvoorwaarden moeten de ratings na verloop van tijd dicht bij elkaar liggen. Dus als proevers in aparte groepjes gelijkaardige scores neerzetten, dan moeten ze ook gelijkaardige scores krijgen. Zo kan je proevers uit verschillende “milieus” die nog nooit samen geproefd hebben, met elkaar vergelijken.
Uit onderzoek blijkt dat het bridge-systeem superieur is aan het Elo-systeem uit het schaken. Het Elo-systeem, genoemd naar de uitvinder Arpad Elo, tracht de vaardigheid van de speler te vatten in één getal. Dit getal stijgt indien de speler toernooien wint, zeker indien hij wint tegen hoger gekwalificeerde spelers, en daalt wanneer hij verliest, zeker wanneer dat tegen lager gekwalificeerde spelers is.
Het bridge-systeem (EBU master point system) gaat uit van twee getallen die enkel kunnen stijgen: één dat de vaardigheid van de speler bijhoudt, en één dat het aantal verloren wedstrijden telt. Het tweede getal is belangrijk in de berekening van de stijging van het eerste getal. Vanaf een speler een bepaald aantal verloren punten verzamelt, stijgt zijn vaardigheidsscore minder snel. Het getal dat de vaardigheid voorstelt, begint op een willekeurig positief getal en het tweede start op 0.
Parameters
Voor de WTR-score testte ik diverse combinaties van de twee parameters: R0 (het aantal vaardigheidspunten bij aanvang) en L (de grens waarboven de stijging van de vaardigheidspunten begint af te nemen). Bovendien hield ik er rekening mee dat wijnproeven gewoonlijk in groep gebeurt (niet zoals bij schaken één tegen één) en dat de samensteller van de wedstrijd het indien gewenst onmogelijk kan maken om punten te scoren, bijvoorbeeld door zeer onwaarschijnlijke combinaties (Israëlische sangiovese) te zoeken of zeer atypische wijnen te kiezen. Daarom fungeert de gemiddelde score van de groep als gewicht: hoe hoger, hoe sterker de stijging van de spelers.
Uiteindelijk bleken volgende getallen de gewenste eigenschappen te bezitten:
Rating bij aanvang: 100
Grens waarboven men stilaan minder vaardigheidspunten begint op te bouwen: 100.
Algemeen systeem: tel voor elke proever de punten (bijvoorbeeld aantal herkende wijnen op acht) en maak een rangschikking. Tel nu per proever de ratings van de spelers die een lagere score hebben op en verdubbel dit getal. Tel daarbij de ratings op van de spelers die dezelfde score hadden. Vermenigvuldig dit aantal met een correctiefactor. Die is gelijk aan de gemiddelde score gedeeld door (het aantal spelers maal 100) voor spelers die nog geen honderd lost points verzameld hebben. Voor spelers die meer dan honderd lost points verzameld hebben, vermenigvuldig je het aantal spelers niet met honderd maar wel met dit aantal lost points. Rond het aantal punten af en tel dit bij de oorspronkelijke WTR-score. Dit is de nieuwe WTR-score.
Voor het aantal lost points: verhoog dit met twee punten per proever die hoger scoorde en met één punt per speler die hetzelfde scoorde. Uitzondering: indien er gelijke scores zijn van spelers met een perfecte score. Deze gelijke spelen worden niet als lost points geteld omdat je niet beter kan doen dan perfect.
Voorbeeld
Een praktisch voorbeeld. Vier proevers nemen het tegen elkaar op in een wijnproefwedstrijd met tien te proeven wijnen.
De scores voor het spelbegin:
Ali: WTR 100 LP 0 Score 5/10
Bea: WTR 200 LP 50 Score 5/10
Cis: WTR 200 LP 150 Score 3/10
Dan: WTR 150 LP 20 Score 7/10
We verwachten dan Dan, de winnaar, het sterkst zal stijgen en dat Ali, de junior-wijnproever die echter relatief goed scoort, iets sterker zal stijgen dan Bea, die reeds een hogere WTR-score heeft. Cis, tenslotte, zal ter plaatse blijven trappelen maar zijn LP-score zal stijgen.
Resultaten:
Ali: ruwe punten: gewonnen van Cis dus 2 x 200 = 400 en gelijkspel tegen Bea (200) dus 600.
Bea: ruwe punten: gewonnen van Cis dus 2 x 200 = 400 en gelijkspel tegen Ali (100) dus 500.
Cis: ruwe punten 0 want tegen niemand gewonnen of gelijk gespeeld.
Dan: ruwe punten: gewonnen van Ali, Bea en cis dus 2 x (100+200+200) dus 1000.
gemiddelde score: 5/10
Aantal spelers: 4
Correctiefactoren:
Ali: 5/(4 x 100) = 0,0125
Bea: 5/(4 x 100) = 0,0125
Cis: 5/(4 x 150) = 0,0083
Dan: 5/(4 x 100) = 0,0125
Stijgingen van de WTR
Ali: 0.0125 x 600 = 7,5 of afgerond 8, dus Ali stijgt naar 108
Bea: 0.0125 x 500 = 6,25 of afgerond 6, dus Bea stijgt naar 206
Cis: blijft op 200
Dan: 0,0125 x 1000 = 12,5 of afgerond 13 dus Dan stijgt naar 163
Stijgingen Lost Points:
Ali: verliest van Dan (2 punten) en speelt gelijk tegen Bea (1 punt), stijgt dus naar 3 lost points
Bea: verliest van Dan (2 punten) en speelt gelijk tegen Ali (1 punt), dus stijgt naar 53 lost points
Cis: verliest van alle drie (3 x 2 punten) dus stijgt naar 156 lost points
Dan: verliest van niemand, blijft dus op 20 lost points.
We zien dat onze verwachting uitkomt: Dan stijgt het sterkst, gevolgd door Ali, gevolgd door Bea. Cis blijft op hetzelfde niveau, al is dat relatief dus een klein verlies omdat de anderen stijgen.
Man gij hebt ECHT teveel tijd!!!!!!