부스트
부스트는 일련의 작은 모형을 적합시킨 후 이를 누적하여 더 큰 신경망 모형을 생성하는 프로세스입니다. 작은 모형은 각각 이전 모형의 척도화된 잔차에 대해 적합됩니다. 모형이 결합되어 더 큰 최종 모형이 생성됩니다. 이 프로세스는 검증을 사용하여 지정된 모형 수를 초과하지 않고 적합시킬 성분 모형 수를 평가합니다.
부스트는 큰 모형 하나를 적합시키는 것보다 빠른 경우가 많습니다. 그러나 기준 모형은 1 ~ 2개 노드가 있는 단일층 모형이어야 합니다. 많은 수의 모형을 지정하면 적합 속도가 빠르다는 이점이 없어질 수 있습니다.
"모형 시작" 제어판의 "부스트" 패널을 사용하여 성분 모형 수와 학습률을 지정할 수 있습니다. "모형 시작" 제어판의 "은닉층 구조" 패널을 사용하여 기준 모형의 구조를 지정할 수 있습니다.
학습률은 0 < r £ 1이어야 합니다. 학습률이 1에 가까우면 최종 모형에 대한 수렴이 빨라지지만 데이터가 과대적합되는 경향도 높습니다. 적은 수의 모형이 지정된 경우 1에 가까운 학습률을 사용하십시오.
부스트 작동 방식을 보여 주기 위해 하나의 층과 두 개의 노드로 구성된 기준 모형을 지정하고 모형 수는 8개라고 가정해 보겠습니다. 첫 번째 단계에서는 하나의 층과 두 개의 노드가 있는 모형을 적합시킵니다. 해당 모형의 예측값은 학습률로 척도화된 후 실제 값에서 빼서 척도화된 잔차를 구성합니다. 다음 단계에서는 하나의 층과 두 개의 노드가 있는 다른 모형을 적합시킵니다. 이때 반응 값은 이전 모형의 척도화된 잔차입니다. 이 프로세스는 8개의 모형이 적합될 때까지 또는 다른 모형을 추가해도 검증 통계량이 개선되지 않을 때까지 계속됩니다. 성분 모형이 결합되어 더 큰 최종 모형이 생성됩니다. 이 예에서 6개 모형이 적합된 후 중지되면 최종 모형은 하나의 층과 2 x 6 = 12개의 노드로 구성됩니다.
주의: 층이 두 개인 신경망에서는 부스트를 사용할 수 없습니다. 두 번째 층에 0이 아닌 값을 지정하고 부스트도 지정하면 두 번째 층이 무시됩니다.