임상 시험 보고에서 위조를 가려내는 데이터 탐정

과제

능동적인 임상 시험 모니터링을 통해 의약품 제출의 적기 처리와 성공을 보장합니다.

해결책

JMP® Clinical의 고급 통계 알고리즘으로 임상 시험 데이터의 이상을 식별하여 조작된 데이터가 연구 결과에 영향을 미치기 전에 시정 조치를 취합니다.

결과

통계적으로 건전한 의약품 제출로 Roche는 남보다 빠른 출시, 특허 및 독점 라이센스 외에도 1일 의약품당 600만 -1,500만 달러가 소요되는 행정상의 지연을 피할 수 있었습니다.

문학계의 영원한 인기 작가 셜록 홈즈는 현명한 수사 조언을 한 적이 있다. "자료도 없이 이론을 세우는 것은 큰 실수다." 이론을 사실에 맞추는 대신, 무의식적으로 사실을 이론에 맞추기 위해 왜곡하기 시작합니다." 홈즈는 이 원칙을 매혹적인 빅토리아 시대의 스캔들에 적용한 것으로 가장 잘 알려져 있지만, 오늘날에도 여전히 관련성이 높습니다. 어떤 면에서 사실을 왜곡하는 것은 인간의 본성이다. 이는 부정 행위를 조사하는 형사에게만 그런 것이 아니라, 그러한 부정 행위를 저지른 사람에게도 그렇다.

임상 데이터와 분석은 철저한 조사의 대상

범죄학에서와 마찬가지로 약물 개발 분야에서도 데이터 무결성은 심각한 문제입니다. EMA와 FDA와 같은 규제 기관이 시행하는 엄격한 규정은 환자를 해칠 수 있는 약물로부터 보호하도록 고안되었습니다. 따라서 새로운 치료법을 출시하기에 앞서 통계적으로 타당한 임상 시험 증거를 제공해야 할 책임은 제약 회사에 있습니다. 원활한 약물 제출 및 승인 절차를 보장하기 위해 Roche와 같은 혁신적인 회사는 통계적 모니터링을 위한 새로운 모범 사례를 채택했습니다.

로슈 중앙 통계 모니터링 그룹의 통계학자이자 팀장인 크리스 웰스는 강력한 모니터링 프로그램은 기존 데이터 정리보다 훨씬 더 중요하다고 말합니다. 그녀는 "우리는 사기 또는 데이터 위조 발생, [임상 시험] 사이트 내부 및/또는 사이트 전반의 교정 또는 교육 문제, 심각한 이상치 또는 품질에 영향을 미치거나 프로그램을 위험에 빠뜨릴 수 있는 기타 문제를 식별할 수 있도록 보장하여 데이터의 품질과 무결성을 보존해야 합니다."라고 말했습니다.

"우리는 데이터 무결성을 염두에 두고 모든 Roche 연구를 살펴보고 있습니다. 우리는 데이터가 세계적으로 높은 수준의 표준화된 것인지 확인해야 합니다. 그리고 그 결과는 사실이고 정확하며 환자가 실제로 경험하는 바를 반영합니다." 웰스는 궁극적으로 더 나은 데이터와 더 높은 품질의 제출을 통해 새로운 약물이 승인되고 환자에게 더 빨리 제공될 가능성이 높아진다고 말합니다.

“JMP Clinical은 JMP 그래픽의 부가가치를 SAS와 결합했습니다. 그것은 거대하고 강력한 도구입니다. 그리고 저는 아직도 배워야 할 것이 많습니다."

— Chris Wells 중앙 통계 모니터링 그룹 팀장

JMP^® Clinical의 데이터 무결성 애플리케이션은 시험기관 및 환자의 부정 행위를 찾아내는 알고리즘을 활용하고 있다

로슈는 전 세계의 많은 임상 시험에서 최상의 데이터 품질을 달성하기 위해 차세대 통계적 모니터링 관행을 개척했으며, JMP Clinical은 이에 필수적인 도구로 간주됩니다. JMP Clinical은 간단한 데이터 이상(예: 누락된 정보)을 식별할 뿐만 아니라, 임상 데이터 세트에 고급 통계 알고리즘을 적용하여 부정행위의 가능성을 보여주는 이상치나 비무작위 오류를 밝혀내는 데 도움을 줍니다.

JMP Clinical을 통해 Wells와 그녀의 팀은 인구 통계적 분포 및 생일에서 의심스러운 유사점이나 중복 항목을 찾고, 연구 기관 내 및 여러 기관에서 피험자를 클러스터링하고, 주중이나 공휴일의 예상치 못한 투여 일정을 파악하고, 완벽한 참석 일정을 세우고, 비변수 결과, 중복 기록, 숫자 선호도(데이터 품질 문제를 식별하는 데 도움이 되는 기관 간 비교), 다변량 내재값 및 이상치를 찾을 수 있습니다. JMP Clinical의 특수 통계 검사는 비통계적 평가 방법으로는 발견하기 힘든 잠재적으로 문제가 있는 데이터 패턴을 표시합니다.

"모든 테스트를 살펴보면 JMP Clinical에서 경고 메시지를 받을 수 있습니다. 그런 다음 데이터를 자세히 살펴보고 무슨 일이 일어나고 있는지 이해해야 합니다."라고 웰스는 말합니다. "그런 다음 이러한 플래그의 결과를 연구팀에 다시 보고하여 검토합니다. 환자 기록과 현장 관행을 살펴보아 변경해야 할 사항이 있는지 확인해보겠습니다.

“JMP Clinical은 당신을 탐정처럼 만들어줍니다. 당신은 셜록 홈즈처럼 되어야 합니다. 어떤 사람이 귀하의 데이터에 영향을 줄 수 있는 행동을 할 수 있을까요? JMP Clinical은 그것을 실현할 수 있는 능력을 가지고 있습니다. "당신은 오직 당신 자신의 마음에 의해서만 제한을 받습니다."

Roche는 Prism과의 유익한 파트너십을 통해 JMP^® Clinical의 잠재력을 최대한 활용하고 있습니다.

모든 훌륭한 탐정에게 파트너가 필요하듯이, 웰스는 영국 케임브리지에 본사를 둔 통계 회사인 Prism Training & Consultancy에 도움을 요청했습니다. 이 회사는 오랫동안 전 세계적으로 중소기업과 주요 제약회사에 지원을 제공해 온 경험이 있습니다. 임상 시험 지원에 수년간의 경험을 보유한 Prism 팀의 컨설턴트 3명이 Wells와 그녀의 동료들과 협력하여 Roche가 단기적으로 JMP Clinical을 사용하여 연구 데이터의 활성화 교육 및 분석을 제공하는 Prism의 전문 지식을 중앙 집중화된 사내 팀에 제공할 수 있게 되었습니다.

"Prism은 영국 케임브리지에 본사를 둔 선호되는 교육 공급업체 중 하나로, 기업의 JMP Clinical 사용 지원을 전문으로 합니다. 그들은 Roche에 이 여정에서 제공한 지원이 매우 귀중하다는 것을 증명했습니다."라고 Wells는 설명합니다.

그러나 장기적으로 이러한 전략은 변화하였고, 로슈는 필요한 업무를 아웃소싱할 외부 공급업체를 찾는 과정을 시작했습니다. 이 기간 동안 Prism은 Roche와 협력하여 분석 및 지원 역할을 수행했습니다. 이제 아웃소싱 파트너가 발견되었으므로 Prism 컨설턴트는 공급업체와 Roche 모두와 긴밀히 협력하여 새로 들어오는 분석가에게 새로운 역할에 대한 교육을 제공하고 있습니다. 공급업체 팀이 본격적으로 활동하기 시작하면 Prism은 필요에 따라 반응형 교육 및 지속적인 지원 역할을 수행하기 위해 한 걸음 물러나, 사내 팀에서 찾아낸 시스템에 스크립팅 향상 및 추가 기능을 제공합니다.

통계 테스트에서 추가 조사가 필요한 문제 확인

규제 제출물에 포함되기 전에 문제가 있는 임상 데이터를 표시함으로써 웰스 팀은 시정 조치를 취할 기회를 얻습니다. 웰스는 대부분의 경우, 위조는 악의적인 동기에서 이루어지지 않는다고 말합니다. 이러한 경우, 문제를 일찍 발견하면 임상 시험 기관에서 진행 중인 연구와 향후 연구에 대한 보고 관행을 바로잡는 데 도움이 됩니다. 웰스는 "처음에는 팀들이 데이터를 매우 소중히 여겼습니다."라고 회상합니다. "우리는 그들에게서 데이터를 얻기 위해 싸워야 했습니다. 하지만 이제 팀들은 정말로 우리에게 데이터를 제공하고 싶어하며, 긍정적인 구두 피드백도 받았습니다. JMP Clinical에서 할 수 있는 일이 많아지고 배울 수 있는 것이 많아질수록 전반적으로 더 많은 이점이 있을 것입니다."

데이터 위조는 복잡한 문제로, 의도적이든 의도하지 않든 수많은 동기가 존재하며, 이로 인해 전 세계의 임상 관리자와 환자는 의심스러운 데이터가 있을 경우 이를 보고하게 됩니다. 자주 발생하는 일은 아니지만 환자 파일을 섞거나 응답자를 혼동시키는 등 현장 실수가 연구 결과에 왜곡된 영향을 미칠 수 있습니다. 임상 관리자가 이러한 오류를 알게 되면 지역적인 품질 점검을 시행할 수 있습니다.

관리자만이 위조 행위를 저지르는 것은 아닙니다. 환자 역시 임상 데이터 무결성에 영향을 미치는 부정 행위에 연루될 수 있습니다. 예를 들어, 환자가 의료 서비스에 대한 접근성 향상이나 재정적 이득을 위해 한 번에 여러 연구에 등록하는 경우가 확인되었습니다. 게다가 문화적 또는 종교적 신념으로 인해 환자가 증상을 부정확하게 보고할 수도 있습니다.

JMP^® Clinical은 상당한 비용 절감과 함께 마음의 평화를 제공

"통계적 모니터링은 비교적 새로운 분야입니다."라고 웰스는 말합니다. "이를 통해 우리는 이상치만을 찾는 것이 아니라 다른 방식으로 데이터를 볼 수 있으며, 통계 알고리즘은 눈에 띄는 추세를 감지하는 데 도움이 됩니다." JMP Clinical과 같은 도구를 사용하면 프로세스 대부분을 자동화하여 Roche의 전 세계 연구 전반에서 모니터링 관행이 일관되도록 할 수 있습니다.

일관되고 고품질의 보고와 약물 제출을 통해 얻을 수 있는 장기적 이점은 명확하다고 웰스는 말합니다. 첫째, "연구 결과를 FDA나 EMA에 제출할 때 데이터에 무엇이 들어 있는지 알 수 있으므로 마음이 편해집니다. 일반적으로는 데이터를 다른 방식으로 볼 것입니다. 하지만 [JMP Clinical]을 사용하면 연구 데이터를 살펴보고 이전 방법을 사용해서는 발견할 수 없었던 문제를 파악할 수 있습니다. 게다가 웰스는 로슈만이 JMP Clinical을 사용하는 것은 아니라고 말한다. FDA도 라이선스를 가지고 있다. 번역 가능한 형식으로 보고서를 준비함으로써 그녀는 결과를 가능한 한 투명하게 보여줄 수 있습니다. 더욱이 JMP 그래픽은 고급 분석을 전달하는 데 도움이 됩니다.

둘째, 지금까지 발견된 사항이 미미하더라도 새로운 통계적 모니터링 관행을 도입하면 규제 검토 과정에서 비용이 많이 드는 지연을 피할 수 있습니다. 웰스는 지연이 발생할 경우 약물당 하루에 600만 달러에서 1,500만 달러에 달하는 비용이 발생할 수 있다고 추정했습니다. 로슈처럼 대규모 R&D 예산을 보유한 회사라도 적지 않은 금액입니다. 게다가, 로슈는 엄격한 약물 제출을 통해 특허와 독점 라이선스와 같은 시장 출시 우선권을 획득할 수 있으며, 이는 장기적인 재정적 영향을 미칩니다.