Bottle Shock – dinsdag 17 februari 2009 (in progress)

Dank u Kaat. Of het het beste is, valt af te wachten. Maar ik wil hier wel een boompje opzetten over wijn proeven en vooral: wijn beoordelen in groep. Want als Bottle Shock me één ding heeft duidelijk gemaakt, dan is het wel dat panelproeverijen maar zin hebben in twee gevallen:

• ofwel om aan te tonen hoe subjectief het allemaal wel is (inderdaad, smaken verschillen, dus wat de ene een prachtwijn vindt, gebruikt de andere om te marineren)
• ofwel wanneer men een gemeenschappelijke basis heeft, zoals Simonne Wellekens ons tijdens de vorige proeverij heeft verteld, en wat wij ook proberen met een gemeenschappelijk proefsysteem.

Maar het thema van de proeverij was “bottle shock” en dus start ik daar. We schrijven 1976. De toen nog relatief onbekende Steven Spurrier, sinds tien jaar wijnhandelaar te Parijs, organiseert een proeverij waarvan hij de uitslag kan voorspellen: natuurlijk zijn de wijnen uit Bordeaux en Bourgogne beter dan die uit Californië! Frankrijk heeft immers alles om goede wijn te maken: het klimaat, de druiven, terroir, en bovenal: een traditie. De nieuwe wereld, zoals we de wijngaarden in de rest van de wereld (buiten Europa) wel eens noemen, hebben hooguit geïmporteerde druiven, een onzeker terroir, en overgevlogen expertise.

Toch organiseert Spurrier een wedstrijd, waaraan behalve hijzelf nog tien andere wijnproevers deelnemen: een Amerikaanse (Patricia Gallagher) en negen Fransen. Stuk voor stuk gereputeerde en ervaren proevers. Tien flessen rode wijn belandden op de proeftafel: vier bordeaux (Haut Brion, Mouton-Rotschild, Montrose en Leoville Las Cases) en zes uit Californië (Stag’s Leap, Clos du Val, Ridge, Heitz, Mayacamas en Freemark Abbey). Toppers, zou men denken. (Daarnaast werd een gelijkaardige proeverij gehouden maar dan voor chardonnaywijnen, uit Bourgogne en Californië. Op dat deel van de proeverij ga ik hier niet verder in)

Het resultaat was verbazend. Stag’s Leap 1973 kwam als eerste over de meet met 14,14 op 20 (enkel de scores van de Franse wijnproevers werden meegeteld), op de voet gevolgd door Mouton-Rotschild. De vlam sloeg in de pan, de nieuwe wereld had de oude verslagen. Of toch niet?

In de hitte van de controverse vonden voor- en tegenstanders allerhande argumenten om toch hun gelijk te bewijzen. Een overzichtje:

Het scoresysteem

De oorspronkelijke score werd bekomen door de punten van de negen Franse wijnproevers op te tellen en te delen door 9. Dit is, zoals Spurrier later ook inzag, statistisch gezien nonsens. Eén van de redenen waarom dat onzin is, valt gemakkelijk te begrijpen. Sommige wijnproevers, zoals bijvoorbeeld Pierre Tari, geven gematigde punten (tussen 11 en 17 met als gemiddelde 13,5). Andere, zoals Christian Vanneque, geven zeer extreme punten (tussen 3 en 17, met gemiddelde 12). Deze laatste weegt dus in de berekening van het gemiddelde veel zwaarder door dan de eerste. In dit geval bijna drie keer zo zwaar, terwijl er geen enkele objectieve reden is om Vanneque, sommelier bij het Franse driesterrenrestaurant La Tour d’Argent, als een betere proever te aanzien dan Tari, eigenaar van het befaamde Giscours en voorzitter van de Association van de Crus Classés van de Médoc.

Men kan dit opvangen door niet te werken met de gemiddelde score, maar wel met de rang. Elke proever dient dan de wijnen te rangschikken naar zijn voorkeur, waarbij de beste wijn 1 punt krijgt en de minste wijn 10. Wanneer we die berekening maken, weliswaar op basis van de score waarin dus ook dubbels voorkomen, komt Montrose als beste uit de bus. Deze wijn krijgt maar liefst 5 eerste plaatsen toebedeeld over alle 11 proevers. (In m’n eigen berekeningen neem ik de scores van alle 11 proevers mee, omdat er volgens mij geen enkele reden is om Spurrier en Gallagher als mindere of tenminste andere proevers te aanzien dan de negen Fransen.)

Het aantal wijnen

In welke mate zijn vier resp. zes wijnen representatief voor de duizenden wijnen die in een streek gemaakt worden? Niet of nauwelijks, zult u zeggen. Klopt, maar hier vallen enkele argumenten tegen in te brengen:

• men heeft getracht een aantal toppers te vergelijken. De top van de piramide is iets heel anders dan de basis. Om te beginnen veel kleiner. Dus minder wijnen nodig om representatief te zijn.
• de gemiddelde correlatie in score tussen de verschillende wijnen is nagenoeg 0. Met andere woorden: het scorepatroon over de verschillende proevers is zeer divers, er valt nauwelijks een lijn in te trekken. Ook binnen elke groep (Bordeaux en Californië) is de gemiddelde correlatie 0. Tenminste qua gepercipieerde kwaliteit zijn de groepen dus uiteenlopend.

De leeftijd van de wijnen

Bordeaux heeft tijd nodig, zeggen de geroutineerde wijnproevers. Wijnen van drie of vier jaar oud uit die streek zijn nog te wrang en hehben hun top nog bijlange niet bereikt. Zou dat de verklaring zijn van het bottle shock-effect?

Deze verklaring kunnen we vreemd genoeg totaal uitsluiten. De proeverij is namelijk twee keer opnieuw gehouden, ditmaal met de gerijpte wijnen. Wat bleek? De Californiërs bezetten de eerste vier plaatsen op de proeverij van 1986, dus zowat vijftien jaar na het oogstjaar van de wijnen. In 2006 was dat patroon niet veranderd, hoewel de rangorde binnen elke groep wel anders lag.

De variabiliteit van het oogstjaar

Volgens vele wijnproevers was de wijnoogst in Bordeaux gedurende de late jaren 1960 en vroege jaren 1970 in een dipje verzeild geraakt. Maar ook deze verklaring houdt geen steek, want drie wijnen van de geproefde kwamen uit het volgens het Conseil Interprofessionel van Bordeaux tot het beste van de laatste decennia. Dus ook hier moeten we de verklaring niet zoeken.

De proevers

Over de reputatie van de proevers kunnen we erg kort zijn: stuk voor stuk waren het uitmuntende kenners. Zou je hetzelfde experiment met leken doen, dan verwacht je misschien een totaal ander resultaat. Of niet? Om te beginnen moet ik opmerken dat de scores zéér laag waren. Eén proever schrok er zelfs niet voor terug om tweemaal een score 2/20 toe te kennen, aan een wijn waar overigens volgens de anderen totaal niets mis mee was.

Als we de correlaties tussen de proevers bekijken, merken we dat die ook zeer laag ligt (0,19). Dit betekent, dat er vrijwel geen lijn te trekken valt in de scorepatronen. Wat de ene goed vindt, is voor de andere rommel en omgekeerd. De volgende tabel toont de correlaties tussen de proevers:

Ook hier moeten we dus de verklaring voor het fenomeen niet zoeken. Dan resten er nog twee opties:

• Californische wijnen zijn inderdaad beter
• Er is een fout gebeurd bij de interpretatie

Vooraleer de eerste optie klakkeloos aan te nemen, laat ons even de tweede onderzoeken. Ik keer even terug naar de getalletjes. Omwille van het overzicht heb ik ze in een tabel gezet:

Hoewel hier Clos du Val inderdaad nipt als beste uitkomt, hoeft het geen betoog dat de gemiddelde score in feite een overwinning voor de Franse wijnen laat zien. Het verschil is zelfs tamelijk groot (2/20). Maar zoals boven reeds aangegeven, is het erg gevaarlijk met gemiddelde scores te werken. Laat ons dezelfde studie eens maken voor de rangscores:

 Opletten hier want een lage score betekent de beste wijn. Op deze manier weergegeven komt Montrose er als beste uit, gevolgd door Stag’s Leap en dan opnieuw twee Franse wijnen: Mouton-Rotschild en Haut-Brion. De gemiddelde rangscore laat een overduidelijke overwinning voor de Franse wijnen zien.

Conclusie: Bottle Shock?

Wat mij betreft is er dus maar één ding shockerend aan Bottle Shock: het klaarblijkelijke onvermogen van veel mensen om getalletjes in hun juiste context te zien. Wie in de scores zoals door de elf wijnproevers toegekend een overwinning wil zien voor één van beide partijen (meestal dus voor de Californische wijnen omdat dat nu eenmaal spectaculairder is), heeft het bij het foute eind.

Wel vind ik het thema de moeite waard om een proeverij aan te wijden. Waarom? Niet omdat ik per sé het grote gelijk van één of andere kant wil bewijzen. Wél omdat het ons terug met de voeten op de grond plaatst en leert dat het bijzonder moeilijk is om over de kwaliteit van wijnen op een zinvolle manier te spreken.

Zijdelings: de film Bottle Shock

Op het Sundance Film Festival van 2008 ging de verfilming van het Oordeel van Parijs in première. De hoofdrol was weggelegd voor Alan Rickman en voor de regie tekende Randall Miller. Spurrier had op voorhand aangekondigd dat hij elke afwijking van de realiteit voor de rechtbank zou bestrijden. Toen hij het script te lezen kreeg, zou hij opgemerkt hebben dat “er geen woord van waarheid in te vinden valt, maar wel vele verzonnen woorden“. Jammer voor de wijnliefhebber die dacht in de cinemazaal wijzer te worden omtrent het proeven van wijnen…

Onze Bottle Shock

Zoals aangekondigd, werd de commanderij op het bestuur na in twee groepen verdeeld. De jurade zou drie bordeaux kiezen, de meritage drie niet-bordeaux van bordelese druiven. Het bestuur zou streng maar rechtvaardig oordelen. Het bestuur proefde uiteraard blind, de leden kregen de optie om voor één keer eens niet blind te proeven. Maar uiteindelijk was iedereen het ermee eens dat blind véél interessanter is.

Ziehier de scores per persoon:

De jurade had wijnen 2, 4 en 6 gekocht en de meritage wijnen 1, 3 en 5 (toevallig wisselden ze mekaar precies af). De meritage sprokkelde op die manier 6 + 3 + 2 punten bij elkaar (totaal 11), de jurade deed het met 5 + 1 + 4 net iets beter en haalde 10 punten (herinner u dat de laagste score wint). Ook hier weer geen enkele reden om bordeaux dan wel nieuwe wereld als de ultieme winnaar aan te duiden, zij het dat ook hier bordeaux aan het langste eind trok. Zeker niet als je weet dat Bart tot op het einde twijfelde tussen wijnen 4 en 5, en uiteindelijk onder tijdsdruk besloot om 4 boven 5 te verkiezen, niet wetende dat Wim wijn 5 in het geniep in WineCity was gaan kopen… inderdaad, de winkel waar Bart zaakvoerder is. Het had uiteindelijk weliswaar geen verschil gemaakt, maar het geeft toch aan dat in die categorie de verschillen bijzonder klein zijn.

Ter info nog even de correlaties in punten tussen de proevers. Enkel Kaat en Peter kwamen hier absoluut niet overeen. Bart en Karl bleken twee haden op één buik. Gemiddeld bedroeg de correlatie 0,40 wat erg hoog is zeker in vergelijking met de scores van de professionele proevers in 1976. Wij hadden wel gebruik gemaakt van het scoresysteem van onze commanderij…