A tanulmányok olykor elrettentően silány minőségének okát a tudósok nem annyira a csalási szándékban, mint inkább a tudományos rendszer alapvető hibáiban, valamint a kutatók által remélt eredmény beteljesülésének vágyában látják.
Az utóbbi időben egyre több szakértő emelt panaszt a tanulmányok átláthatóságának és a minőség biztosításának hiánya miatt.
Constance Holman és Ulrich Dirnagl, a berlini Charité Klinika kutatói és munkatársaik több száz agyvérzésre és rákra specializálódott tanulmányt vizsgáltak át, és elsősorban az ezek során használt kísérleti állatokra koncentráltak.
A tudományos cikkek többségében nem adták meg pontosan a patkányok és egerek számát. Még meglepőbb, hogy több kutatásban az állatok a vizsgálat során "eltűntek". A csapat megpróbálta rekonstruálni a kísérleti állatok eltűnésének okát.
"Az a gyanúnk, hogy az állatokat akkor vették ki a kísérletből, ha egy különösen súlyos betegség jelentkezett náluk.
Ekkor azonban az állat az elemzésben sem szerepel, ami az eredmény meghamisítását eredményezi"
- véli Dirnagl. A szakértő szerint ez a kognitív torzulás tipikus esete. A kognitív torzulás alatt a kutatónak az iránti vágyát érti, hogy az általa vizsgált anyag vagy módszer hasson. Ez nem csalást jelent, hanem az elképzelt eredmény megvalósulásának vágyát.
További problémát jelent az is, hogy
gyakran nagyon kis létszámú vizsgálati csoporttal dolgoznak az orvostudományi alaptanulmányok,
előfordult, hogy mindössze nyolc állat vett részt a kutatásban.
Az orvostudományi alapkutatásokkal ellentétben a klinikai vizsgálatokra évek óta szigorú szabályok vonatkoznak: szigorú normák érvényesek többek között a vizsgált páciensek számára és esetleges kivételükre a kutatásból. Az eredmények publikálása előtt minden esetben ellenőrzik, hogy a vizsgálatok megfeleltek-e az előírásoknak.
Dirnagl szerint ugyanilyen szigorúan kellene ellenőrizni az orvosi alapkutatásokat is. Pontosan le kellene írni, hány állat vesz részt a vizsgálatban és milyen kritériumok fennállásakor lehet kivenni egy egyedet a kutatásból.
A kísérleteknek vakon kellene zajlaniuk, tehát a résztvevő szakértők nem tudhatják, mely állatok kapják a kezelést és melyek tartoznak a kontrollcsoportba.
Az amerikai Emory és Stanford Egyetemek szakértői 441 tanulmányt vizsgáltak, amelyek 2000 és 2014 között kerültek be a PubMed orvostudományi adatbankba. Elsősorban a kutatások reprodukálhatóságát és átláthatóságát vizsgálták.
Eredményeik szerint a legtöbb tanulmány sem a nyers mérési adatokat, sem a részletes kísérleti protokollt nem adta meg, és nem említik azt sem, ki finanszírozta a munkát és milyen esetleges érdekek állhatnak mögöttük.