Kapan Menggunakan MAE dan MSE ?

Mean Absolute Error (MAE) dan Mean Squared Error (MSE) adalah dua diantara banyak metode untuk mengukur tingkat keakuratan suatu model peramalan. Nilai MAE merepresentasikan rata – rata kesalahan (error) absolut antara hasil peramalan dengan nilai sebenarnya [1]. Sedangkan nilai MSE dapat dianalogikan sebagai varian ditambah dengan kuadrat bias dari suatu model [2].

Tulisan ini mencoba membahas karakteristik masing – masing metode. Dengan memahami kelebihan dan kekurangan masing – masing metode akan membantu kita dalam menentukan kapan harus menggunakan metode tersebut.

MAE

Secara matematis MAE didefinisikan sebagai berikut,

\mathrm{MAE} = \frac{1}{n}\sum_{i=1}^n \left| f_i-y_i\right|  (1)

dimana f_i adalah nilai hasil peramalan, y_i adalah nilai sebenarnya, dan n adalah jumlah data.

Berdasarkan formula 1 di atas, MAE secara intuitif menghitung rata – rata error dengan memberikan bobot yang sama untuk seluruh data (i = {1 \dots n} ).

MSE

Sedangkan MSE didefinisikan sebagai berikut,

\mathrm{MSE}=\frac{1}{n}\sum_{i=1}^n(f_i - y_i)^2  (2)
\mathrm{MSE}(\hat{\theta}) =\mathrm{E}\big[(\hat{\theta}-\theta)^2\big] =\mathrm{Var}(\hat{\theta})+ \left(\mathrm{Bias}(\hat{\theta},\theta)\right)^2  (3)

Berdasarkan formula 2 di atas, MSE memberikan bobot yang lebih besar jika dibandingkan dengan MAE, yakni nilai kuadratik dari error. Sebagai konsekuensinya, nilai error yang kecil akan semakin kecil dan nilai error yang besar akan semakin besar.

Selain itu, MSE juga bisa dianalogikan sebagai varian ditambah kuadrat bias model (formula 3). Dimana \hat{\theta} adalah model yang dievaluasi dan \theta adalah model sebenarnya. Jika tidak ada bias antara model yang dibangun dengan model sebenarnya (unbiased model), maka MSE sepadan dengan varian dari model. Semakin kecil varian suatu model, semakin robust model tersebut dalam melakukan peramalan.

Kesimpulan

Untuk evaluasi model peramalan, MAE lebih intuitif dalam memberikan rata – rata error dari keseluruhan data. Sedangkan MSE sangat sensitif terhadap outlier. Karena dihitung nilai kuadratnya, error outlier akan diberikan bobot yang sangat besar dan membuat nilai MSE semakin besar pula. Dalam kasus ini pemilihan MAE menjadi tepat karena memberikan bobot yang sama untuk seluruh data.

MSE sangat baik dalam memberikan gambaran terhadap seberapa konsisten model yang dibangun. Dengan meminimalkan nilai MSE, berarti meminimalkan varian model. Model yang memiliki varian kecil mampu memberikan hasil yang relatif lebih konsisten untuk seluruh data input dibandingkan dengan model dengan varian besar (MSE besar).

Dalam kasus klasifikasi biner, dimana hanya terdapat dua kelas dengan label kelas 0 dan 1, tidak ada perbedaan baik menggunakan MAE maupun MSE. Hal ini karena nilai error hanya mempunyai dua kemungkinan, 0 jika prediksi benar dan 1 jika prediksi kelas berbeda dengan kelas sebenarnya. Hasil kuadrat ataupun absolut dari error tersebut akan sama sehingga nilai MAE dan MSE pun akan identik.

Alternatif yang lain adalah dengan menarik akar kuadrat MSE, atau yang biasa disebut dengan Root Mean Squared Error (RMSE). RMSE menjadi alternatif yang lebih intuitif dibandingkan MSE karena memiliki skala pengukuran yang sama dengan data yang sedang dievaluasi. Sebagai contoh, dua kali nilai RMSE artinya model memiliki error dua kali lebih besar dari sebelumnya. Sedangkan dua kali nilai MSE tidak berarti demikian. Jika MSE dapat dianalogikan sebagai varian, maka RMSE dapat dianalogikan sebagai standar deviasi.

Referensi

[1] Mean absolute error. (2015, May 4). In Wikipedia, The Free Encyclopedia. Retrieved 11:34, September 19, 2015, from https://en.wikipedia.org/w/index.php?title=Mean_absolute_error&oldid=660816639

[2] Mean squared error. (2015, August 24). In Wikipedia, The Free Encyclopedia. Retrieved 11:34, September 19, 2015, from https://en.wikipedia.org/w/index.php?title=Mean_squared_error&oldid=677669894

Iklan

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s