Datendetektive kämpfen gegen verfälschte Daten in klinischen Studienberichten

Herausforderung

Mittels proaktiver Überwachung klinischer Studien die zeitnahe Verarbeitung und damit letztlich den Erfolg von Arzneimittelzulassungen sicherstellen.

Lösung

Mithilfe moderner statistischer Algorithmen in JMP® Clinical Anomalien in Daten klinischer Studien identifizieren und Korrekturmaßnahmen ergreifen, bevor verfälschte Daten das Studienergebnis beeinträchtigen.

Ergebnisse

Statistisch fundierte Arzneimittelzulassungen haben Roche geholfen, neue Produkte vor seinen Mitbewerbern auf den Markt zu bringen und sich damit Patente und Exklusivverträge zu sichern sowie behördliche Verzögerungen zu vermeiden, die das Unternehmen zwischen 6 Millionen und 15 Millionen US-Dollar täglich kosten können.

Der allseits beliebte Schriftsteller Sherlock Holmes gab einst einen weisen Detektivrat: „Es ist ein kapitaler Fehler, Theorien aufzustellen, bevor man über Daten verfügt. Man beginnt unmerklich, Tatsachen zu verdrehen, um sie den Theorien anzupassen, statt Theorien den Tatsachen anzupassen.“ Obwohl Holmes vor allem dafür bekannt ist, diesen Grundsatz auf eine Reihe betörender Skandale im viktorianischen Zeitalter angewandt zu haben, ist er heute nicht weniger relevant. In gewisser Weise liegt die Verdrehung von Tatsachen in der menschlichen Natur; sie gilt nicht nur für die Ermittler, die Fälle von Fehlverhalten untersuchen, sondern auch für diejenigen, die solche Vergehen begehen.

Bei Zulassungsanträgen werden klinische Daten und Analysen intensiven Prüfungen unterzogen

In der Welt der Arzneimittelentwicklung wie auch in der Kriminologie ist die Datenintegrität eine ernste Angelegenheit. Die strengen Vorschriften von Aufsichtsbehörden wie der EMA und der FDA sollen Patienten vor Arzneimitteln schützen, die ihnen schaden könnten. Somit liegt es in der Verantwortung der Pharmaunternehmen, vor der Freigabe neuer Therapien statistisch fundierte klinische Studiennachweise vorzulegen. Um einen reibungslosen Einreichungs- und Zulassungsprozess für Medikamente zu gewährleisten, haben die innovativeren unter ihnen – beispielsweise Unternehmen wie Roche – neue bewährte Verfahren zur statistischen Überwachung übernommen.

„Ein robustes Überwachungsprogramm ist so viel mehr als herkömmliche Datenbereinigung“, sagt Chris Wells, Statistiker und Teamleiter der Centralized Statistics Monitoring Group von Roche. „Wir müssen die Qualität und Integrität unserer Daten bewahren, indem wir sicherstellen, dass wir in der Lage sind, sämtliche Fälle von Betrug oder Datenfälschung, sämtliche Kalibrierungs- oder Schulungsprobleme innerhalb und/oder zwischen den Standorten [für klinische Studien], sämtliche schwerwiegenden Ausreißer oder Inlier oder sonstige Probleme zu identifizieren, die die Qualität beeinträchtigen oder das Programm gefährden könnten“, erklärt sie.

„Wir prüfen jede Roche-Studie im Hinblick auf die Datenintegrität. Wir müssen sicherstellen, dass unsere Daten weltweit einem hohen Standard entsprechen. Und dass die Ergebnisse wahrheitsgetreu und genau sind und die tatsächlichen Erfahrungen der Patienten widerspiegeln.“ Letztlich, sagt Wells, erhöhen bessere Daten und qualitativ hochwertigere Anträge die Wahrscheinlichkeit, dass ein neues Medikament schneller zugelassen und den Patienten zur Verfügung gestellt wird.

„JMP Clinical vereint den Mehrwert von JMP-Grafiken mit SAS. Es ist ein großartiges und mächtiges Werkzeug – und ich muss noch viel lernen.“

— Chris Wells, Teamleiterin, Centralized Statistics Monitoring Group

Funktionen zur Datenintegrität in JMP^® Clinical verwenden Algorithmen zur Identifikation von Fehlverhalten in Studienzentren und bei Patienten

Um bei seinen zahlreichen weltweiten klinischen Studien die bestmögliche Datenqualität zu erreichen, hat Roche statistische Überwachungsverfahren der nächsten Generation entwickelt, für die JMP Clinical als unverzichtbares Werkzeug gilt. JMP Clinical erkennt nicht nur einfache Datenanomalien (z. B. fehlende Informationen), sondern wendet auch erweiterte statistische Algorithmen auf einen klinischen Datensatz an, um Ausreißer oder nicht zufällige Fehler aufzudecken, die auf mögliches Fehlverhalten hinweisen.

Mithilfe von JMP Clinical können Wells und ihr Team nach zweifelhaften Ähnlichkeiten oder Duplikaten in demografischen Verteilungen und Geburtstagen suchen, Probanden sowohl innerhalb als auch zwischen Studienstandorten gruppieren, unwahrscheinliche Dosierungspläne für Wochentage oder Feiertage erstellen, perfekte Anwesenheitspläne erstellen, nicht variable Ergebnisse, doppelte Datensätze, Ziffernpräferenz (ein Vergleich zwischen Standorten, der dabei hilft, Probleme mit der Datenqualität zu identifizieren) und multivariaten Ausreißern und Inliern suchen. Spezielle statistische Tests in JMP Clinical, sagt Wells, kennzeichnen potenziell problematische Datenmuster, die mit nicht-statistischen Auswertungsmethoden möglicherweise nicht bemerkt würden.

„Nachdem wir uns alle diese Tests angesehen haben, zeigt uns JMP Clinical Markierungen an. Wir müssen dann tiefer in die Daten einsteigen und versuchen zu verstehen, was passiert“, sagt Wells. „Die Erkenntnisse aus diesen Markierungen leiten wir dann zur Überprüfung an die Studienteams zurück.“ Wir werden uns die Patientenakten und Vorgehensweisen vor Ort ansehen, um festzustellen, ob Änderungen vorgenommen werden müssen.

„JMP Clinical macht Sie mehr zu einem Detektiv. Sie müssen wie Sherlock Holmes sein. Welche Handlungen könnte eine Person vornehmen, die Ihre Daten beeinträchtigen könnten? JMP Clinical ist dazu in der Lage. Sie sind nur durch Ihren eigenen Verstand eingeschränkt.“

Eine fruchtbare Partnerschaft mit Prism hilft Roche, das volle Potenzial von JMP^® Clinical auszuschöpfen

Da jeder gute Detektiv einen Partner braucht, wandte sich Wells an Prism Training & Consultancy, ein erfahrenes Statistikunternehmen mit Sitz in Cambridge (Großbritannien), das seit langem kleine und mittlere Unternehmen (KMU) und große Pharmaunternehmen weltweit unterstützt. Drei Berater aus dem Prism-Team, jeder mit jahrelanger Erfahrung in der Unterstützung klinischer Studien, schlossen sich Wells und ihren Kollegen in einer Partnerschaft an. Dadurch konnte Roche sein zentralisiertes In-House-Team kurzfristig mit der Expertise von Prism bei der Bereitstellung von Schulungen und der Analyse von Studiendaten mit JMP Clinical ergänzen.

„Prism ist einer der bevorzugten Schulungsanbieter mit Sitz in Cambridge, Großbritannien, der darauf spezialisiert ist, Unternehmen in die Nutzung von JMP Clinical einzuarbeiten. „Die Unterstützung, die sie Roche auf diesem Weg geleistet haben, war von unschätzbarem Wert“, erklärt Wells.

Diese Strategie änderte sich jedoch langfristig und Roche begann mit der Suche nach einem externen Anbieter zur Auslagerung der erforderlichen Aufgaben. Während dieser Zeit übernahm Prism in Zusammenarbeit mit Roche eine Analyse- und Aktivierungsrolle. Und nachdem nun ein Outsourcing-Partner gefunden wurde, arbeiten die Berater von Prism eng sowohl mit dem Anbieter als auch mit Roche zusammen, um die neuen Analysten in ihren neuen Rollen zu schulen. Sobald das Lieferantenteam vollständig aktiv ist, wird sich Prism zurückziehen und je nach Bedarf eine reaktionsschnelle Schulung und fortlaufende Supportrolle übernehmen, die Skriptverbesserungen und vom internen Team identifizierte Add-Ins für das System umfasst.

Statistische Tests weisen auf Probleme hin, die weitere Prüfungen erfordern

Durch die Kennzeichnung problematischer klinischer Daten vor deren Aufnahme in einen Zulassungsantrag hat Wells‘ Team die Möglichkeit, Korrekturmaßnahmen einzuleiten. In den allermeisten Fällen, sagt Wells, sei die Fälschung nicht böswillig motiviert. In solchen Fällen hilft das frühzeitige Erkennen des Problems den Prüfzentren, ihre Meldepraktiken sowohl für laufende als auch für zukünftige Studien zu korrigieren. „Die Teams gingen anfangs sehr sensibel mit ihren Daten um“, erinnert sich Wells. „Wir mussten kämpfen, um die Daten von ihnen zu bekommen. Aber jetzt möchten die Teams uns ihre Daten unbedingt geben … wir haben positives mündliches Feedback erhalten. Je mehr wir tun und je mehr wir von JMP Clinical lernen können, desto nützlicher wird es insgesamt sein.“

Datenfälschung ist ein komplexes Problem. Zahlreiche – beabsichtigte und unbeabsichtigte – Beweggründe bewegen Klinikverwalter und Patienten auf der ganzen Welt dazu, alle Daten zu melden, die sie für fragwürdig halten. Auch wenn es nicht oft vorkommt, können Fehler vor Ort, wie etwa das Verwechseln von Patientenakten oder die Verwirrung der Befragten, dennoch einen verzerrten Einfluss auf die Studienergebnisse haben. Sobald die klinischen Administratoren auf diese Fehler aufmerksam gemacht werden, können sie lokale Qualitätskontrollen einführen.

Nicht nur Administratoren sind für Fälschungen verantwortlich; auch Patienten können sich Fehlverhaltens schuldig machen, das die Integrität klinischer Daten beeinträchtigt. So wurden beispielsweise Fälle ermittelt, in denen sich Patienten an mehreren Studien gleichzeitig beteiligten, entweder um sich einen besseren Zugang zur medizinischen Versorgung zu verschaffen oder um finanzielle Vorteile zu erzielen. Darüber hinaus können kulturelle oder religiöse Überzeugungen dazu führen, dass Patienten ihre Symptome falsch angeben.

JMP^® Clinical bietet sowohl Sicherheit als auch erhebliche Einsparungen

„Statistisches Monitoring ist ein relativ neues Feld“, sagt Wells. „Es ermöglicht uns, die Daten auf eine andere Art und Weise zu betrachten. Anstatt nur nach Ausreißern zu suchen, helfen statistische Algorithmen, erkennbare Trends zu erkennen.“ Mithilfe eines Tools wie JMP Clinical, das einen Großteil des Prozesses automatisiert, kann sie sicherstellen, dass die Überwachungspraktiken in allen globalen Studien von Roche einheitlich sind.

Die langfristigen Vorteile einer konsistenten und qualitativ hochwertigen Berichterstattung und Arzneimitteleinreichung lägen klar auf der Hand, sagt Wells. Zum einen: „Wenn Ihre Studie bei der FDA oder EMA eingereicht wird, können Sie beruhigt sein, denn Sie wissen, was in Ihren Daten steht. Im Allgemeinen würden Sie die Daten auf eine andere Weise betrachten. Doch mit [JMP Clinical] können wir die Studiendaten durchsehen und Probleme erkennen, die bei Verwendung früherer Methoden möglicherweise nicht unbedingt aufgefallen wären. Darüber hinaus sagt Wells, dass Roche nicht der einzige ist, der JMP Clinical verwendet; auch die FDA verfügt über Lizenzen. Indem sie Berichte in einem übersetzbaren Format erstellt, kann sie sicherstellen, dass die Ergebnisse so transparent wie möglich sind. Darüber hinaus helfen JMP-Grafiken bei der Kommunikation erweiterter Analysen.

Zweitens können, auch wenn die bisherigen Erkenntnisse minimal sind, durch die Einführung neuer statistischer Überwachungsverfahren möglicherweise kostspielige Verzögerungen im behördlichen Überprüfungsprozess vermieden werden. Wells schätzt, dass etwaige Verzögerungen Kosten von 6 bis 15 Millionen US-Dollar pro Medikament und Tag verursachen könnten – selbst für ein Unternehmen mit einem so beträchtlichen F&E-Budget wie Roche keine geringe Summe. Darüber hinaus verschafft wasserdichte Medikamenteneinreichungen Roche Vorteile bei der Erstvermarktung wie Patente und Exklusivitätslizenzen, die langfristige finanzielle Auswirkungen haben.