머신러닝의 궁극적인 목표는 테스트 Data에 대해 높은 성능을 보장하는 프로그램을 만드는 것이다.
높은 성능은 무엇으로 판단할 수 있는가?
그것에 대한 대답이 Bias(편향)와 Variance(분산)이다.
각 개념을 미리 간단하게 정의하면 다음과 같다.
- Bias : 정답과 예측 값이 차이나는 정도. (정답과 가까울 수록 낮아짐)
- Variance : 예측 값끼리의 흩어짐 정도. (뭉칠수록 값이 낮아짐)
유년시절 행운을 빌면서 분수에 동전을 던지면, 여러번 던지다 보면 목표하는 지점에 도달은 못하더라도 비슷한 곳으로 던지게 된다.
이렇듯 우리는 유년 시절부터 Bias(편향)와 Vairance(분산)을 이미 체험으로 알고 있었다.
이제 머신러닝의 목표를 Bais와 Variance를 활용하여 표현하면 다음과 같다.
머신러닝의 궁극적인 목표는 낮은 Bias와 낮은 Variance를 가진 프로그램을 만드는 것이다.
세상에 값싸고 질 좋은 물건은 없듯, 머신러닝도 마찬가지다.
Bias와 Variance는 Trade off 관계에 있다는 뜻이며, 앞서 말한 것과 같이 둘다 좋을 수 없다는 의미이다.
그럼 우리는 어떤 선택을 해야하는가?
이 물음에 답은 다음과 같다
Bias의 희생은 최소로 유지하면서 Variance를 최대로 낮추도록 노력해야한다.
최종적으로 어떤 프로그램을 필요로 하는지는 하기 이미지로 표현하였다.
상하 그림 중 우리는 어떤 프로그램을 원하는 것일까?
정답은 위쪽 프로그램이다.
그 이유는 다음과 같다 정답 예측은 100%는 아니지만(Bias 높음) 다른 Data가 Input으로 들어왔을 때 아래쪽 프로그램보다
예측 확률이 높을 것이다.
아래쪽 프로그램은 학습한 Data에만 예측 확률이 높고 다른 Data에는 현저히 낮은 성능을 보일 것이다.
오늘은 Bias(편차)와 Variance(분산)에 대해서 알아 보았습니다.
머신러닝에서 굉장히 중요한 개념이기 때문에 이번 포스팅으로 대략적인 감을 잡으셨길 희망합니다 :D