Tutkimusten käyttö Onnen Oikoteiden markkinoinnissa: Case AlphaBRAIN™

[Varoitus: teksti sisältää luvuilla argumentointia, mikä saattaa joillain aiheuttaa päänkivistystä ja pahoinvointia]

Aivovoimaa purkista, tieteellisesti?

Oman elämän “optimointi”, “biohakkerointi” ja mittaaminen ovat olleet tietyissä piireissä kovasti pinnalla viime vuosina (HS uutisoi aiheesta viimeksi torstaina). Koska mitä erilaisempia tutkimuksia käytetään elämänsä parantamisesta kiinnostuneiden köyhdyttämiseen, ajattelin kirjoittaa yhdestä esimerkistä:

Itsensä henkisestä ja fyysisestä kehittämisestä kiinnostunut ystäväni pyysi minua arvioimaan lisäravinnetta, joka lupaa tieteelliseen tutkimukseen perustuen parantaa keskittymiskykyä ja vireystilaa, auttaen saavuttamaan mielesi todellisen potentiaalin. En tiedä paljoakaan lisäravinteista, mutta Onnen Umpikujien koluamisesta minulla on pitkä ja opettavainen kokemus.

Netissä AlphaBRAIN on saanut paljon näkyvyyttä moniosaaja Joe Roganin hehkutuksesta johtuen. Pikainen googlaus näyttää, kuinka eräs bloggaaja kertoo lähes puolittaneensa “aivojensa iän” ja toinen saavuttaneensa upean unenlaadun. Tuotteen esittelyvideokin näyttää melkoisen vakuuttavalta:

Kuulostaa tietenkin hienolta, mutta ikävä kyllä väitteet hyödyistä osoittautuvat tarkemmassa tarkastelussa roskaksi. Siinä nyt ei sinänsä ole mitään uutta, mutta asian tekee huomionarvoiseksi se, että yrityksen itsensä tekemä poikkeuksellisen tieteellinen tutkimus näyttäisi tukevan samaa havaintoa. Keskityn alla tuohon mainittuun tutkimukseen – muita tuotteen markkinointikäytössä olevia tutkimuksia on ruodittu toisaalla.

Kurkistus konepellin alle – kuinka tutkimustuloksia luetaan

Onnit Labsin tiedote kertoo pilottitutkimuksen näyttäneen pienestä otoskoostaan huolimatta hyvin lupaavia tuloksia jatkotutkimuksia ajatellen. Seuraavaksi kerron, miksi tilanne oikeastaan on päinvastainen.

“The following are the results of the Proof of Concept for a Randomized, Double Blind, Placebo Controlled, Parallel Group, Efficacy Study of Alpha BRAIN™ Administered Orally”

Taulukko alla tiivistää tutkimuksen tulokset. Tässä pelissä on kyse siitä, löydetäänkö ryhmien välillä eroja, joiden voidaan sanoa olevan niin suuria, että olisi epätodennäköistä että ne johtuisivat sattumasta. Mitä taulukko kertoo?

  • M tarkoittaa keskiarvoa, tulosmuuttujia on yhteensä 16 vaikeasti lausuttavaa kirjainyhdistelmää, joilla tarkoitetaan henkistä suoriutumiskykyä mittaavia testejä.
  • ”Tilastollisesti merkitsevät erot” (suure, joka ei kerro merkityksestä käytännön elämälle mitään) näkyvät sinisellä. Plasebo- ja AlphaBRAIN-ryhmien välillä eroja löytyi kahdella muuttujalla (ks. sarake ”+45 days”).
  • Tutkijat antavat ns. p-arvoksi <0.05. Tämä periaatteessa merkitsisi sitä, että jos pitkässä juoksussa väitetään, että vaikutus on olemassa aina kun nähdään tällainen p-arvo, virhepäätelmiä tulisi alle 5%. Käytän sanaa “merkitsisi”, koska p-arvon perusteella päätteleminen vaatii paljon muita oletuksia ja mm. testien määrän ottamista huomioon. Pieni p-arvo ei muuten myöskään merkitse sitä, että tulos löytyessäänkään johtuisi AlphaBRAIN:sta, saati montaa muuta asiaa, joita sen kuvitellaan merkitsevän.

Tästä voi edelleen päätellä, että keskimäärin joka kahdeskymmenes testi (5% x 20 = 100%) puoltaa AlphaBrain-ryhmää silloin, kun vaikutusta ei todellisuudessa ole. Pikaisella laskutoimituksella todennäköisyys saada 1-3 ”osumaa” (eli muuttujaa, joissa näkyy ”vaikutus”) sattuman (vs. tuotteen) vaikutuksen vuoksi on n. 20%. Toisin sanoen, joka viides kerta kun tutkijat olisivat arponeet tulokset, he olisivat saaneet eroja 1-3 testissä (ja mehän emme tiedä, kuinka monta tutkimusta haudattiin, ennen kuin tämä julkaistiin).

“[T]hese preliminary data do indicate the potential for efficacy in several areas of cognitive functioning”

TuloksetKatso seuraavaksi saraketta ”Baseline”. Siinä näkyvät tulokset silloin, kun molemmat ryhmät on popsineet kaksi viikkoa lumepillereitä ennen varsinaisen kokeen alkamista. Eroja näkyy kolmella muuttujalla, mutta yhdessäkään näistä ei ero näy enää seuraavalla mittauskerralla! Tällä tavoin testit antavat hyvin vaihtelevia tuloksia, ja sattumalla on iso vaikutus tuloksiin, koska muuttujia on niin monta (16 kpl).

Tuomio: tutkimuksen tuloksista on vaikea innostua hyvällä tahdollakaan, koska samat tulokset olisi ihan hyvin voinut saada smartieseja popsimalla (paitsi että niissä on sokeria, joka varmaankin aiheuttaa hetkellistä boostia).

Vaikka tulos olisi todellinen, pieni otoskoko johtaa siihen, että se on todennäköisesti moninkertaisesti liioiteltu. Luvatut lisätutkimuksetkaan tuskin valaisevat käytettyihin menetelmiin liittyviä kysymyksiä (p-arvojen luovasta ronkkimisesta löytyy lisätietoa täältä).

Oli miten oli, esitutkimusluonteestaan huolimatta tapaus toimii oppikirjaesimerkkinä siitä, kuinka markkinointipuhe (niin tieteellisissä artikkeleissa kuin tiedeuutisoinnissakin) usein poikkeaa täysin lukujen kertomasta tarinasta.

2 thoughts on “Tutkimusten käyttö Onnen Oikoteiden markkinoinnissa: Case AlphaBRAIN™

  1. Hei,

    voisitko vielä täsmentää, mikä on “Pikainen laskutoimitus” jolla saadaan että “todennäköisyys saada 1-3 ”osumaa on n. 20%”?

    En omalla todennäköisyyslaskennallani saa lainkaan tuollaista. 16 tapahtumaa, P(osuma)=0,05 ja “huti” on 0,95.

    Like

    • Mainio huomio, kiitos;

      Laskutoimitus on ollut näköjään turhankin pikainen. Binomijakaumasta laskettuna P(1 osuma)=0,37 + P(2 osumaa)=0,15 + P(3 osumaa)=0,04 -> P(1-3 osumaa)=0,56 -> todennäköisyys saada 1-3 osumaa olisi n. 56 %.

      Oletko samaa vai eri mieltä?

      [edit: samalla laskutoimituksella todennäköisyys saada 2 tai useampi osuma = n. 19%]

      Like

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s