Ad esempio, questo è quello che hanno detto sui loro risultati:

Questo è anche esattamente il motivo per cui i criteri devono essere progettati per includere studi della massima qualità possibile. In effetti, sarei scioccato se una rianalisi di una meta-analisi non concludesse che i risultati sono influenzati dalla scelta degli studi. Detto questo, i risultati di Lüdtke e Rutten non invalidano in alcun modo Shang et al.

Una cosa che è molto chiara leggendo Lüdtke e Rutten è che questo studio è stato chiaramente fatto per cercare di confutare o invalidare Shang et al. È così ovvio. In effetti, nessuno rianalizza i dati di uno studio a meno che non pensi che le conclusioni originarie siano sbagliate. Nessuno. Non c’è motivazione altrimenti. Altrimenti, perché preoccuparsi di svolgere tutto il lavoro necessario? In effetti, Lüdtke e Rutten lo mostrano fin dall’inizio:

L’analisi di Shang è stata criticata per essere soggetta a bias di selezione, specialmente quando l’insieme di 21 studi di alta qualità è stato ridotto a quegli otto studi con un ampio numero di pazienti. In una lettera al Lancet, Fisher et al. ha posto la domanda: „fino a che punto i risultati della meta-analisi dipendono da come è stata definita la soglia per gli studi „grandi” [3]. Il presente articolo risponde a questa domanda. Il nostro obiettivo è indagare su come i risultati di Shang sarebbero cambiati se fossero state applicate altre soglie. Inoltre, estendiamo le nostre analisi ad altri sottoinsiemi significativi dei 21 studi di alta qualità per indagare su altre fonti di eterogeneità, un approccio che è generalmente raccomandato per essere uno strumento prezioso per le meta-analisi.

Di nuovo, questo è un „Beh, duh!” osservazione, ma è interessante vedere cosa hanno fatto Lüdtke e Rutten con la loro analisi, perché rafforza più o meno le conclusioni di Shang et al, anche se Lüdtke e Rutten si sforzano molto di non ammetterlo. Quello che hanno fatto Lüdtke e Rutten è stato prendere i 21 studi di alta qualità sull’omeopatia analizzati da Shang et al. Prima di tutto, alkotox costo hanno preso i rapporti di probabilità dagli studi e hanno fatto un diagramma a imbuto del rapporto di probabilità rispetto all’errore standard, che è, ovviamente, dipendente dalla dimensione della prova. Il diagramma a imbuto ha mostrato un’asimmetria, dovuta principalmente a tre studi, due dei quali hanno mostrato effetti di trattamento elevati e uno dei quali era più coerente con l’effetto placebo. In ogni caso, tuttavia, per le otto prove di qualità più elevata, non è stata rilevata alcuna asimmetria.

Ciò che sarà probabilmente sostenuto dagli omeopati è che per tutti e 21 gli studi sull’omeopatia di „alta qualità”, l’odds ratio aggregato dalla meta-analisi degli effetti casuali era 0,76 (intervallo di confidenza 0,59-0,99, p = 0,039). Questo è completamente deludente, ovviamente. Anche se reale, rappresenterebbe probabilmente un risultato clinicamente irrilevante. Ciò che mi fa pensare che non sia clinicamente rilevante è ciò che fanno Lüdtke e Rutten. Nello specifico, iniziano con i due più grandi studi di alta qualità sull’omeopatia e poi aggiungono in serie studi, da quelli con il maggior numero di pazienti a quelli con il minor numero di pazienti. In ogni fase hanno calcolato l’odds ratio aggregato. In due studi, l’odds ratio è rimasto molto vicino a 1,0. Dopo 14 prove, l’odds ratio è diventato ed è rimasto „significativamente” inferiore a 1,0 (tranne quando sono stati aggiunti 17 studi). Il grafo:

Tuttavia, quando gli autori hanno utilizzato la meta-regressione, una diversa forma di analisi, non importava quanti studi fossero inclusi. L’intervallo di confidenza si estendeva sempre su 1.0, ovvero un risultato statisticamente indistinguibile da un odds ratio di 1.0:

In altre parole, se si utilizza una meta-analisi di effetti casuali, si possono detrarre dai dati rapporti di probabilità marginalmente significativi; se si usa una meta-regressione, non si può nemmeno gestirla! In altre parole, questo studio mostra in realtà che non importa molto quali studi di alta qualità siano coinvolti, a parte il fatto che l’aggiunta di studi di qualità inferiore a studi di qualità superiore inizia a distorcere i risultati a valori apparentemente positivi.

Esattamente come avrebbe previsto uno che sa qualcosa di meta-analisi.

La cosa sorprendente dello studio di Lüdtke e Rutten, tuttavia, è quanto sia necessario agitare le mani per cercare di far sembrare questo risultato una quasi confutazione di Shang et al. Ad esempio, iniziano la loro discussione così:

Nel nostro studio, abbiamo eseguito un gran numero di meta-analisi e meta-regressioni in 21 studi di alta qualità che confrontavano i farmaci omeopatici con il placebo. In generale, gli OR complessivi non variavano sostanzialmente in base al sottoinsieme analizzato, ma lo facevano i valori di P.

Questo è, in sostanza, ciò che è stato trovato, e l’intera discussione non è altro che un tentativo di sventare, offuscare e cercare di convincere i lettori che c’è qualche problema con Shang et al che rende le sue conclusioni molto meno convincenti di quanto in realtà sono. Anzi, temo molto per loro. Avranno la sindrome del tunnel carpale con tutto quel movimento delle mani. Stiamo parlando dell’analisi del sottoinsieme di selezione della ciliegia fino a quando non riescono a trovare un sottoinsieme che mostra un „effetto”. Più divertente, però, anche dopo aver fatto tutto questo, questo è il meglio che possono inventare:

I nostri risultati non dimostrano né che i farmaci omeopatici sono superiori al placebo né dimostrano il contrario. Questa, ovviamente, non è mai stata nostra intenzione, questo articolo riguardava solo come i risultati complessivi e le conclusioni tratte da essi cambiano a seconda di quale sottoinsieme di studi omeopatici viene analizzato. Poiché l’eterogeneità tra gli studi rende i risultati di una meta-analisi meno affidabili, si verifica che le conclusioni di Shang non siano così definite come sono state riportate e discusse.

Trovo questo particolarmente divertente, dato che Shang et al si sono fatti in quattro per non vendere troppo i loro risultati o per farne più di quanto mostrano. Ad esempio, questo è quello che hanno detto sui loro risultati:

Sottolineiamo che il nostro studio e gli studi che abbiamo esaminato hanno affrontato esclusivamente la questione ristretta se i rimedi omeopatici abbiano effetti specifici. Gli effetti del contesto possono influenzare gli effetti degli interventi e la relazione tra paziente e caregiver potrebbe essere un importante percorso di mediazione di tali effetti.28,29 I professionisti dell’omeopatia possono formare potenti alleanze con i loro pazienti, perché i pazienti e i caregiver condividono comunemente forti convinzioni sulle efficacia e altre credenze culturali, che potrebbero essere sia potenzianti che riparatrici.30 Per alcune persone, quindi, l’omeopatia potrebbe essere un altro strumento che integra la medicina convenzionale, mentre altri potrebbero vederla come un inganno mirato e antiscientifico dei pazienti, che non trova posto nella assistenza sanitaria moderna. Chiaramente, piuttosto che condurre ulteriori studi sull’omeopatia controllati con placebo, i futuri sforzi di ricerca dovrebbero concentrarsi sulla natura degli effetti contestuali e sul ruolo dell’omeopatia nei sistemi sanitari.

Questo non è altro che un lungo modo per dire che l’omeopatia è un placebo. Tuttavia, tutte le qualifiche, le discussioni sulle “alleanze con i pazienti e il riferimento alle credenze culturali rappresentano un modo eccellente per dire che l’omeopatia è un placebo piuttosto che nel modo combattivo che a me (per non parlare del dottor Atwood) piace influenzare. Una cosa che posso dire con certezza, però, è che qualunque cosa Lüdtke e Rutten concludano nel loro studio (e, francamente, mentre leggevo il loro articolo non ho potuto fare a meno di pensare in molti punti che non è sempre del tutto chiaro proprio quello che diavolo stanno cercando di dimostrare), non è che Shang et al non siano invalidi, né è la prova che l’omeopatia funzioni.

In effetti, il titolo stesso è fuorviante in quanto ciò che lo studio fa davvero non è altro che rafforzare i risultati di Shang et al, guardandoli in un modo diverso. In effetti, l’intera conclusione di Lüdtke e Rutten sembra essere che Shang e altri non sono così sexy come tutti pensano, tranne per il fatto che esagerano quanto tutti pensavano che Shang e altri fossero per sottolineare questo punto. Questo è tutto ciò che potevano fare, dopotutto, dato che avevano lo stesso successo di abbattere Shang et al attraverso la rianalisi dei dati originali quanto DeSoto e Hitlan quando hanno „rianalizzato” il set di dati utilizzato da Ip et al per mostrare alcuna correlazione tra la presenza di autismo e livelli elevati di mercurio nei capelli e nel sangue e poi ho litigato un po’ sul blog. Ancora una volta, ogni volta che un investigatore „rianalizza” il set di dati di un altro investigatore, ha praticamente sempre un’ascia da macinare. Ciò non significa che non valga la pena per loro di fare tali rianalizzazioni o che non troveranno gravi carenze di volta in volta, ma dovresti sempre ricordare che gli investigatori che fanno la rianalisi non si preoccuperebbero di farlo se non erano in disaccordo con le conclusioni e non cercavano fessure nell’armatura da aprire in modo che potessero dimostrare che le conclusioni dello studio erano sbagliate. In questo, Lüdtke e Rutten hanno fallito.

L’involontaria utilità degli studi sull’omeopatia per la medicina basata sulla scienza

Guardando il quadro generale, suppongo di poter dire che c’è una funzione utile che gli studi sull’omeopatia servono, ed è quella di illuminare le carenze della medicina basata sull’evidenza e come funziona il nostro sistema di sperimentazione clinica. Ancora una volta, il motivo è che l’omeopatia non è altro che acqua e quindi un trattamento placebo del tutto inerte. Di conseguenza, qualsiasi effetto positivo riportato per o qualsiasi correlazione positiva attribuita all’omeopatia deve essere il risultato di casualità, pregiudizio o frode. Personalmente, sono un ottimista e come tale tendo a credere che la frode sia rara, il che lascia il caso o il pregiudizio. Dato il noto bias di pubblicazione in cui gli studi positivi hanno maggiori probabilità di essere pubblicati e, se pubblicati, più probabilità di essere pubblicati in riviste migliori, mi sento abbastanza sicuro nell’attribuire la stragrande maggioranza degli studi „positivi” sull’omeopatia a bias o casualità . Dopotutto, nelle migliori circostanze, almeno il 5% anche degli studi clinici meglio progettati di un placebo come l’omeopatia sarà apparentemente „positivo” solo per caso. Ma è peggio di quello che la ricerca pionieristica del Dr. John Ioannidis ci dice che il numero di prove false positive è considerevolmente superiore al 5%. Infatti, minore è la probabilità precedente che una prova mostri un risultato positivo, maggiori diventano le probabilità di una prova falsamente positiva. Questo è il vero significato del lavoro di Ioannidis. In effetti, un commentatore di Hawk/Handsaw ha descritto molto bene come gli studi sull’omeopatia illuminano i punti deboli della progettazione degli studi clinici, solo non nel modo in cui ci dicono gli omeopati:

…Vedo tutte le sperimentazioni sull’omeopatia come una sorta di “organismo modello” per studiare il modo in cui funzionano la scienza e l’editoria scientifica. Dato che i rimedi omeopatici sono noti per essere completamente inerti, qualsiasi conclusione positiva o persino suggerimento di conclusioni positive che i ricercatori omeopatici escogitano devono essere scoperte casuali, errori o frodi.

Quindi l’omeopatia ci permette di guardare come una comunità di ricercatori può generare un corpo di articoli pubblicati e persino meta-analizzarli e ri-meta-analizzarli in modo molto dettagliato, in assenza di qualsiasi fenomeno reale. È un po’ come far crescere batteri in una capsula di Petri in cui sai che non c’è altro che agar.

La conclusione piuttosto triste a cui sono giunto è che è molto facile per gli scienziati intelligenti e premurosi vedere i segnali nel rumore casuale. Temo che un’enorme quantità di lavori pubblicati in campi sensibili della medicina e della biologia sia probabilmente anche questo. L’omeopatia dimostra che può succedere. (il problema è che non sappiamo cosa sia una sciocchezza e cosa non lo sia in un dato campo.) È un avvertimento per gli scienziati di tutto il mondo.

In effetti lo è, e si applica alla meta-analisi tanto quanto a qualsiasi studio, dato che la meta-analisi raccoglie tali studi. È anche una ragione in più per cui noi di Science-Based Medicine enfatizziamo la scienza piuttosto che solo le prove. Inoltre, l’incapacità di prendere in considerazione la probabilità a priori basata sulla scienza è esattamente ciò che troviamo carente nell’attuale paradigma della medicina basata sull’evidenza. In questa critica non includiamo solo prove di „medicina complementare e alternativa” (CAM). Tuttavia, gli studi sull’omeopatia sono un esempio perfetto quanto possiamo immaginare per dimostrare quanto sia facile produrre falsi positivi negli studi clinici quando l’evidenza empirica è valutata più della totalità dell’evidenza scientifica. Ci possono essere altri esempi di modalità CAM che hanno effetti specifici oltre a quelli di un placebo (rimedi erboristici per esempio, dato che sono farmaci). Ci potrebbe essere. Ma con un grado incredibilmente alto di certezza, l’omeopatia non è tra questi. I rimedi omeopatici, dopotutto, non sono altro che acqua, e la loro efficacia esiste solo nella mente degli omeopati, che sono, che se ne rendano conto o no, maestri del pensiero magico, o utilizzatori dell’omeopatia, che stanno sperimentando in prima persona l’effetto placebo . Gli studi sull’omeopatia dimostrano perché, nel paradigma della medicina basata sull’evidenza, ci saranno sempre studi apparentemente positivi a cui gli omeopati possono puntare, anche se i rimedi omeopatici sono l’acqua.

RIFERIMENTI:

1. A SHANG, K HUWILERMUNTENER, L NARTEY, P JUNI, S DORIG, J STERNE, D PEWSNER, M EGGER (2005). Gli effetti clinici dell’omeopatia sono effetti placebo? Studio comparativo di studi controllati con placebo sull’omeopatia e l’allopatia The Lancet, 366 (9487), 726-732 DOI: 10.1016/S0140-6736(05)67177-2

2. R LUDTKE, UN RUTTEN (2008). Le conclusioni sull’efficacia dell’omeopatia dipendono fortemente dall’insieme degli studi analizzati Journal of Clinical Epidemiology DOI: 10.1016/j.jclinepi.2008.06.015

Autore

David Gorski

Le informazioni complete del Dr. Gorski possono essere trovate qui, insieme alle informazioni per i pazienti.David H. Gorski, MD, PhD, FACS è un oncologo chirurgico presso il Barbara Ann Karmanos Cancer Institute specializzato in chirurgia del cancro al seno, dove è anche medico dell’American College of Surgeons Committee on Cancer Liaison e professore associato di chirurgia e membro della facoltà del Graduate Program in Cancer Biology presso la Wayne State University. Se sei un potenziale paziente e hai trovato questa pagina tramite una ricerca su Google, controlla le informazioni biografiche del Dr. Gorski, le dichiarazioni di non responsabilità relative ai suoi scritti e l’avviso ai pazienti qui.

Ci sono diverse caratteristiche di un sintomo o di una malattia che lo rendono un obiettivo conveniente per i sostenitori di terapie non convenzionali. È più probabile che i sintomi soggettivi siano mirati rispetto alle condizioni oggettive: non si vedono molti cosiddetti trattamenti anticoncezionali „alternativi”. I sintomi per i quali è probabile che i soli effetti placebo producano l’illusione di efficacia sono buoni bersagli per trattamenti inefficaci. Anche i sintomi che variano naturalmente nel tempo sono buoni bersagli: è probabile che i pazienti cerchino un trattamento quando i loro sintomi sono massimi, il che significa che la regressione spontanea alla media fornirà un’efficace illusione di efficacia per qualsiasi intervento. È probabile che le malattie con una componente psicologica sostanziale (come quelle aggravate da stress emotivo o emotive, come l’ansia) possano beneficiare degli effetti non specifici dell’interazione terapeutica, rendendo il trattamento stesso irrilevante.

Infine, qualsiasi condizione o sintomo per il quale non esiste attualmente un trattamento efficace fornisce un mercato maturo per lo sfruttamento.