실험 설계의 주요 원칙

Style
section-padding-none

실험 설계의 세 가지 기본 원칙은 무엇인가요?

  • 실험 실행 또는 실험 시도의 무작위화는 체계적인 편향이 실험에 개입되는 것을 방지합니다. 무작위화는 단순히 실행 순서를 임의로 정하는 것뿐만 아니라, 각 실행 후 조건을 다시 초기화하는 것도 포함합니다.
  • 블로킹은 불필요한 요인으로 인한 변동성을 줄이거나 제어하기 위해 사용하는 설계 기법입니다.
  • 반복은 실험자가 실험 오차를 추정할 수 있게 해줍니다.

이 세 가지 기본 원칙 또는 기법은 실험 설계의 핵심을 이룹니다. 무작위화는 편향을 줄이는 데 사용되고, 나머지 두 원칙은 실험의 정밀도를 높이는 데 도움이 됩니다.

랜덤화

각 실험 시도 또는 실행마다 하나의 처리를 적용하고 반응을 기록합니다. 실험을 무작위화하면, 처리 순서를 무작위로 수행하게 됩니다. 무작위화는 통제되지 않은(또는 잠재적) 변수의 영향을 평균화합니다.

예를 하나 살펴보겠습니다. 티타늄 부품의 세척 공정을 연구하고 있다고 가정해보겠습니다. 여기에는 두 가지 요인, 세척 시간과 용액 종류가 있습니다. 무작위화를 적용하지 않고 실험을 수행합니다. 모든 6회의 실험을 수행하는 데 하루가 걸립니다. 오전에는 세척 시간을 10분으로 설정한 모든 처리를 수행하고, 오후에는 세척 시간을 30분으로 설정한 모든 처리를 수행합니다. 이때 하루가 지나면서 주변 온도와 습도가 모두 증가합니다.

잠재 변수의 영향을 줄이기 위해 무작위화 전후의 처리 조합을 보여주는 두 개의 표.

이후 분석에서 세척 시간이 유의미한 요인이라고 결론지을 수도 있습니다. 그러나 처리를 무작위화하지 않았기 때문에, 세척 시간의 효과를 주변 온도와 습도의 효과와 분리할 수 없습니다. 이러한 효과들은 서로 혼동되거나, 교락되어 있습니다. 이러한 효과들은 서로 혼동되거나, 교락되어 있습니다.

블록화

혼란 요인을 위한 블로킹

혼란 요인으로 인해 발생하는 변동의 영향을 최소화하기 위해 블로킹이라는 기법을 사용할 수 있습니다. 예를 들어, 서로 다른 배치에서 실험을 수행하는 경우, 각 배치는 서로 다를 수 있습니다.

변수 X1, X2, 그리고 반응 Y를 포함한 8개의 실험 패턴을 보여주는 두 개의 데이터 배치. 각 배치에는 X1과 X2 수준의 네 가지 조합이 모두 포함되어 있습니다.

이때 실험을 여러 블록으로 나누면, 배치 간의 잠재적인 변동이 실험 전체 실행에 걸쳐 균형을 이루도록 할 수 있습니다.

변수 Pattern, Block, X1, X2, Y가 포함된 실험 설계표. 두 개의 배치를 블록으로 표시하여, 배치가 실험에서 블로킹 변수로 사용되는 방식을 보여줍니다.

또한 실험을 여러 날에 걸쳐 수행하는 경우, 일별로 통제되지 않는 변동이 결과에 설명되지 않은 변동을 많이 추가할 수 있습니다. 이때 날짜를 블로킹 변수로 포함하면, 분석 시 일별 변동을 보정하여 주요 효과를 더 잘 탐지할 수 있습니다.

변경이 어려운 요인을 위한 제한적 무작위화

무작위화는 통제되지 않거나 잠재된 변수의 영향을 평균화하기 위해 매우 중요하다는 것을 배웠습니다. 하지만 모든 처리를 완전히 무작위화할 수 없는 경우도 있습니다. 변경이 어렵거나 특정 순서로만 변경할 수 있는 요인이 있을 수 있기 때문입니다.

오븐 온도를 실험 요인으로 표시한 오븐 일러스트.

예를 들어, 실험 요인 중 하나가 오븐 온도라고 가정해보겠습니다.

오븐이 설정된 온도에 도달하는 데 시간이 걸리기 때문에, 각 실행마다 온도를 바꾸는 것은 비효율적일 것입니다.

각 실행 사이에 온도를 변경하는 것이 비현실적임을 설명하는 텍스트와 함께 표시된 오븐 일러스트와 시계 아이콘.

이처럼 변경이 어려운 요인이 있는 경우, 완전 무작위 실험 대신 스플릿 플롯(split-plot) 또는 스트립 플롯(strip-plot) 실험을 수행합니다. 스플릿 및 스트립 플롯 설계를 사용해 실험을 무작위화하는 방법에 대한 자세한 내용은 JMP의 무료 온라인 과정 ‘사용자 설계 실험’(강의 3)을 참고하세요.

반복 실험

반복은 동일한 실험 조건을 한 번 이상 다시 수행하고, 반복된 설정에 대해 새로 측정값을 얻는 개념입니다. 단일 처리, 일부 처리, 또는 모든 처리를 반복할 수 있습니다. 완전 반복 실험에서는 각 처리가 최소 한 번 이상 반복됩니다. 반복을 통해 실험 오차, 즉 요인의 변화로 설명되지 않는 반응의 변동(설명되지 않은 변동)을 추정할 수 있습니다. 실험 오차의 추정치는 통계적 유의성을 검정하는 데 필수적입니다.

예를 들어, 앞서 언급한 세척 실험의 경우, 최소한 여섯 가지 처리 각각에 대해 한 번의 실행이 필요합니다. 세척 시간 = 10, 용액 종류 = 1인 처리 조건을 반복한다고 가정해봅시다. 실행 순서를 무작위화하면, 이 처리 조합은 두 번째 실행과 일곱 번째 실행에 나타날 수 있습니다. 하나 이상의 설계 지점을 반복하면, 동일한 요인 설정에서의 반응 변동, 즉 실험 오차를 추정할 수 있습니다. 둘 이상의 설계 지점을 반복하면 오차 추정의 정확성이 향상됩니다.

금속판에 드릴 비트를 눌러 생긴 자국의 깊이를 측정하여, 네 가지 종류의 드릴 비트 경도를 비교하려는 실험을 생각해보겠습니다. 이 실험의 초기 단계는 다음과 같은 절차로 구성됩니다.

동일한 처리를 둘 이상의 실험 단위에 적용할 때 반복이 발생합니다. 반복을 잘못 해석하면 단순한 반복 측정으로 혼동할 수 있습니다.

이 실험에서 사용할 수 있는 실험 단위가 네 개뿐이라면, 각 드릴 비트 종류(처리)당 표본 크기는 1이 됩니다. 이 표본 크기가 부족하다고 생각된다면, 각 금속판에 두 가지 처리를 적용하고 자국을 각각 측정하는 방법을 고려할 수 있습니다. 이 접근 방식으로 각 처리에 대해 두 개의 관측값(또는 한 번의 반복)을 얻는다고 생각할 수 있습니다.

이 접근 방식에는 어떤 문제가 있을까요?

진정한 반복은 동일한 처리를 둘 이상의 실험 단위에 적용하는 것을 의미합니다. 금속판은 하나의 실험 단위로 정의되므로, 하나의 금속판에 서로 다른 처리(드릴 비트)를 적용할 수 없습니다. 각 금속판을 두 번 사용하는 것은 진정한 반복이 아니라 의사 반복(pseudo-replication)입니다. 같은 금속판에서 얻은 관측값들은 서로 종속적이기 때문에, 두 표본을 독립적인 것으로 간주하는 것은 적절하지 않습니다.

layout
2 column
Style
columns-75-25, section-top-padding-xsmall