EBS 수능특강 독서 047 데이터의 수집 분석 (이상치와 결측치) [중]

데이터의 수집 분석 (이상치와 결측치)

1. 넘쳐나는 [데이터]를 잘 [수집]하고 [분석]하면 세상을 이해할 [지식과 통찰력]을 얻을 수 있다. 그렇지만 [데이터 분석자]가 [미리] [이상치]와 [결측치] 같은 데이터 분석에 오류를 일으킬 원인을 잘 [처리]해주어야만 한다.
   
   
2. [이상치]는 [정상적인 범위 밖]의 값으로 데이터 [수집 과정]에서 오류가 개입되어 생긴다. 그리고 [이상치]는 [단 하나]만 있어도 분석에 [큰 문제]를 일으킬 수 있다. [이상치]를 [이해] 하기 위해 [사분위수]를 정리해 보자. 사분위수는 제1사분위수, 제2사분위수(중앙값), 제3사분위수로 나눈다. 데이터 값을 나열했을 때, [가운데]가 [중앙값(제2사분위수)]이고 중앙값보다 [작은] 값들의 [중앙값]이 [제2사분위수], 중앙값보다 [큰 ] 값들의 [중앙값]을 [제3사분위수]라고 한다. 데이터의 수가 홀수면 가운데 값이 중앙값이 되지만 [짝수] 면 [가운데 두 값의 평균]을 중앙값으로 한다. 또 크기가 [같은 값]이 데이터에 존재하면 [모두] 순위로 [세어 준다.]
   
   
3. [이상치]를 판단하는 [절대적인 기준]이 [존재]하는 것은 [아니다]. 여기서는 [통상적인 방법]을 예를 들어 설명하겠다. 먼저 <그림 1>의 수익 열의 데이터 값을 모두 선택하여 [상자 수염 도표]를 그린 <그림 2>가 필요하다. 이 그림에서 보이는 [직사각형]의 [윗면]이 [제3사분위수]이고 [아랫면]이 [제1사분위수]를 표시한다. 그리고 상자 [안]의 [가로선]은 [중앙값]이다. 다음으로는 [IQR 값]이 필요하다. 이 값은 [제3사분위수]와 [제1사분위수]의 [차이], 즉 [상자의 높이 값]에 해당한다. 그림의 경우엔 [20-12.4=7.6]이다. 이제 [이상치]의 허용 상한 값과 하한값을 구할 수 있다. 허용 [상한 값]은 [IQR]에 [1.5]를 [곱]한 값을 [제3사분위수]에 [더한 값]이고, 허용 [하한값]은 [IQR]에 [1.5]를 [곱]한 값을 [제1사분위수]에서 [뺀 ] 값이다. 1.5는 다른 값이 될 수도 있다. [이상치]를 [제외]하고 [수행한 분석]이 [얼마나 정확한 예측]을 가능하게 해 주는가에 [따라] 1.5가 [다른 값]으로 결정될 수 있다. <그림 2>의 경우에는 [허용 상한 값]은 [20+7.6X1.5=31.4]이고, [허용 하한값]은 [12.4-7.6X1.5=1.0]이 된다. 또 [상자]의 [위와 아래]로 [뻗은 직선]을 [수염]이라고 하는데 상자 [위로] 뻗은 [수염의 끝]은 [상한 값]이고 상자 [아래]로 뻗은 [수염의 끝]은 [하한선]이 된다. 그리고 상한선과 하한선의 밖에 있는 작은 [동그라미]는 [이상치]에 해당한다. <그림 1>에 [생략된 부분]에는 [이상치가 있었음]을 추정할 수 있다.
   
   
4. [결측치]는 [데이터 값]이 [빠진] 것이다. 이렇게 되면 [분석] 프로그램은 [작동]되지 [않을 수]도 있다. 이는 [결측치]에 의해 [평균]을 [계산]하지 [못] 할 수도 있기 때문이다. 그래서 [분석 전]에 결측치를 [처리해야] 한다. <그림 3>에 [NaN]이라고 표시된 부분이 [결측치]에 해당한다. [결측치]는 결국 삭제하거나 대체하는데 삭제는 결측치를 포함한 [행이나 열을 삭제]하는 것으로 [주의] 해야 한다. 물론 데이터 값이 [충분]히 많다면 [삭제]가 [가능]하다. [대체]는 데이터의 [평균, 중앙값] 또는 해당 값의 [직전, 직후] 행의 데이터 [값]을 사용하여 이루어진다. [대체]는 데이터의 [망실]이 일어나지 [안]지[만] [교란]을 초래할 수 있다는 문제가 있다.

  데이터가 넘쳐나는 시대에 데이터 분석을 통해 우리는 많은 것을 얻을 수 있다. 하지만 데이터 분석 전에 정상적인 범주를 벗어난 이상치 데이터나 데이터가 누락된 결측치가 적절히 처리되지 않는다면 데이터 분석에는 오류가 생기게 된다.   이러한 오류를 막기 위해 이상치는 미리 생략한다. 그리고 결측치는 삭제하거나 대체하여 해결한다.
 이 지문의 내용은 따라가기 어려운 정도는 아니지만 그림 보는 연습을 해보는 기회로 삼으면 좋겠다.

---