Confrontare i dati di pazienti che oggi prendono certi trattamenti con quelli di pazienti apparentemente simili con la stessa malattia che hanno preso in passato altri trattamenti

Talvolta i ricercatori confrontano i dati di pazienti che oggi prendono determinati trattamenti con quelli di pazienti apparentemente simili e con la stessa malattia che hanno preso in passato altre terapie. Tali confronti possono fornire prove affidabili se gli effetti del trattamento sono clamorosi – per esempio, quando un nuovo trattamento porta alcuni pazienti a sopravvivere a una malattia che era sempre stata letale.

Tuttavia, quando le differenze non sono clamorose, ma vale comunque la pena conoscerle, i confronti che utilizzano “controlli storici” sono potenzialmente problematici. Anche se i ricercatori utilizzano aggiustamenti statistici e particolari analisi per cercare di garantire che simile sarà confrontato con simile, queste analisi non possono tener conto di alcune caratteristiche rilevanti dei pazienti nei gruppi di controllo che non sono state registrate. Di conseguenza, non possiamo mai essere del tutto sicuri che simile sia stato confrontato con simile.

I possibili problemi possono essere illustrati confrontando i risultati di uno stesso trattamento riservato a pazienti simili, ma somministrato in tempi diversi. Ad esempio, pensiamo a una analisi di 19 casi di pazienti con carcinoma polmonare avanzato confrontando i tassi di mortalità annui in pazienti simili trattati in tempi diversi con esattamente gli stessi trattamenti. Nonostante ci si aspetterebbero poche differenze nei tassi di mortalità le differenze sono notevoli: i tassi di mortalità variano dal 24% (meglio) al 46% (peggio). [4]

Chiaramente queste differenze non sono attribuibili ai trattamenti, che erano gli stessi, o a pazienti diversi dato che in effetti non lo erano. I diversi tassi di mortalità presumibilmente riflettono differenze non considerate tra i pazienti, o ancora variazioni non registrate nel tempo (ad esempio una migliore assistenza infermieristica o un diverso controllo delle infezione) che quindi non hanno potuto essere prese in considerazione nei confronti.