결측치와 이상값을 만났을 때

실제 데이터는 교과서처럼 깔끔하지 않다. 빈칸이 군데군데 있고, 누가 봐도 이상한 값이 끼어 있다. 이걸 어떻게 다루느냐에 따라 결과가 달라진다. 그래서 정제는 분석의 곁다리가 아니라 본론에 가깝다.

빈칸에도 이유가 있다

결측치를 무작정 0으로 채우거나 행을 통째로 지우면 그림이 왜곡된다. 응답하지 않은 것인지, 해당 없음인지, 입력이 누락된 것인지에 따라 처리가 달라야 한다. 나는 먼저 "왜 비었을까"를 한 번 따져 본다. 빈칸이 특정 집단에 몰려 있다면, 그 자체가 중요한 단서일 수 있다.

이상값은 지우기 전에 의심한다

평균에서 한참 벗어난 값을 보면 지우고 싶어진다. 하지만 입력 오류일 수도 있고, 진짜 드물지만 중요한 사례일 수도 있다. 나이가 200살이면 오류겠지만, 유독 큰 민원 건수는 실제 현상일 수 있다. 지우기 전에 원자료로 돌아가 확인하는 단계를 둔다.

무엇을 어떻게 처리했는지 남긴다

빈칸을 채웠든, 이상값을 뺐든, 그 결정을 기록으로 남긴다. 나중에 결과를 의심받을 때 "왜 이렇게 처리했는가"에 답할 수 있어야 하고, 데이터가 갱신됐을 때 같은 처리를 다시 적용할 수 있어야 한다.

깨끗하지 않은 데이터를 다루는 일은 번거롭다. 그래도 이 과정을 건너뛰면, 그 위에서 아무리 정교하게 분석해도 모래 위에 집을 짓는 셈이 된다.