추천 시스템 평가 지표 1. Accuracy : MAE, RMSE

추천 시스템은 엔지니어링인 동시에, 밸런스가 중요한 예술이라고도 합니다.

그 이유는 추천 시스템의 용도에 따라 성능을 평가하기가 어렵기 때문입니다.

다양한 평가 지표가 있는데요. 그중 Accuracy를 측정할 수 있는 MAE, RMSE를 알아보았습니다.

 

1. Mean Absolute Error (MAE)

"평균 - 각 항목"에 대한 절대값을 평균 내버리는 것이죠.

평균 절대 오차

2. Root Mean Square Error (RMSE)

"평균 - 각 항목"에 대한 제곱 값을 평균 내고 루트를 씌워버립니다. 통계학에서 흔히 접할 수 있는 표준편차 계산 방식이죠.

평균 제곱근 오차

예측 점수	실제 점수	오차	MAE	RMSE
5	3	2	(2+3+1)/4=1.5	(4+9+1)^(1/2)=1.87
4	1	3
5	4	1
1	1	0

 

3. 결론

정확성 지표는 어디까지나 성능 지표의 한 종류일 뿐이라는 사실!

높은 정확성(낮은 오차)가 실제 좋은 추천을 보장하는 것은 아닙니다.

사용자가 서비스를 사용할 때, 추천 시스템에서 "당신은 이 영화에 대해 4점을 줄 것입니다."라고 아무리 정확하게 말해주는 것은 사실 별 도움이 안됩니다.

결국 추천이라는 것은 "내가 관심이 있는 것인가"가 가장 중요하기 때문입니다.