Nida Canpolat tarafından yazılmıştır.
Makine öğrenmesinin alt sınıfı olan derin öğrenmede algoritmalar genellikle optimizasyon algoritmalarına dayanır ve var olan parametreleri optimize ederek bir sonuca ulaşmaya çalışır.
Bu algoritmalar oluşturulurken bir veri setine, modele ve maliyet fonksiyonuna ihtiyaç duyulur. Bu algoritma eğitilerek istenilen sınıflandırmalar yapılır. Yapılan sınıflandırmanın ne ölçüde doğru olduğunu belirlemek için performans metriklerinden yararlanılır. Makine öğrenmesinde sınıflandırma performansını ölçmek için kullanılan matrise confusion matrix ( karmaşıklık matrisi) adı verilir. 2 sınıflı bir confusion matrix örneği Şekil 1’de gösterilmiştir. Örnekteki 2×2’lik matris TP, FP, FN ve TN olmak üzere dört değere sahiptir. Bu değerler ve taşıdığı anlamlar Tablo 1’de açıklanmıştır.
Tablo 1. Confusion Matrix değerleri
Confusion matrisinin oluşması için iki tür veri setine ihtiyaç vardır: Eğitim verisi ve test verisi. Oluşturulan eğitim algoritmasının elde ettiği sınıflandırma ile (eğitim verisi üzerinde), etiketli olan test veri setinin farklı şekillerde karşılaştırılması ile confusion matrix elde edilir. Confusion matrixin boyutu sınıflandırılmaya sokulan sınıf sayısı boyutunda bir matrixtir. Örneğin 3 sınıflı bir çiçek veri setinin confusion matrix boyutu 3x3 biçimindedir.
Yapılan sınıflandırmanın doğruluk gibi oranlarını belirlemek için Confusion matrix’te yer alan (Şekil 1) değerler (TP, TN, FP, FN) kullanılır. Bu değerler ile Accuracy, Precision, Recall, Sensitivity, Specificity, F1 Score ve geometrik ortalama olarak adlandırılan performans metrikleri belirlenir. Performans metrikleri sınıflandırma modelimizin kalitesini belirler. Performans metriklerinin hepsi farklı formüller ile hesaplanır. Bu formüller Tablo 2’de belirtildiği gibidir.
Tablo 1’de belirtilen her bir değer farklı bir hesaplama sonucu bulunur. Bu değerler birbirine benzese de aralarında oldukça önemli farklar vardır. Bunları sırası ile açıklayacak olursak;
Accuracy, yani doğruluk değerini bulmak için doğru tahmin edilen değerler (TP ve TN), tablodaki diğer tüm değerlere bölünür. Burada modeliminiz bulduğu doğru değerlerin diğer değerlere bölünmesiyle, modelin yüzde kaç oranda doğru tahmin yaptığı belirlenir.
Specificity, gerçek negatif değerlerin tüm negatif değerlere oranı ile bulunur. Yani negatif olan değerlerden kaç tanesi doğru olarak tahmin edildiği sonucunu verir.
Precision, pozitif olarak tahmin edilen değerlerden kaç tanesinin gerçekten pozitif olduğun bulmak için kullanılır. Yani gerçek pozitif değerlerin toplam pozitif değerlere oranıdır.
Recall (Sensitivity), pozitif değer alan kişilerden kaç tanesinin gerçekte pozitif olarak tahmin edildiğini bulmak için kullanılır.
F1 Score, bir testin doğruluğunun bir ölçmek için kullanılır. F1 Score, Precision ve Recall değerlerinin harmonik ortalamasını hesaplayarak elde edilir. Harmonik ortalama kullanılma sebebi ise herhangi bir durumun göz ardı edilmemesi içindir. F1 Score değeri 1’e ne kadar yakınsa model o kadar iyi demektir.
Geo. Ortalama, dengeli olmayan Sensitivity ve Specificity değerlerini tek bir sonuç ile dengeli hale getirmek için kullanılır.
Şekil 2’de verilen örnekte iki tür çiçek türünün (gül ve papatya) sınıflandırılmasına ait bir matrixtir. Matrixte yer alan değerler doğrultusunda performans metriklerini hesaplayarak modelin kalitesi bulunacaktır.
[2] https://iremkomurcu.medium.com/confusion-matrix-nedir-ve-neden-kullanılır-cd686a7fc993
[3] https://devreyakan.com/performans-metrikleri/
[4] https://towardsdatascience.com/shou...ecall-or-specificity-sensitivity-3946158aace1
[5] https://iq.opengenus.org/precision-...ll or Sensitivity is the,are one and the same.
Makine öğrenmesinin alt sınıfı olan derin öğrenmede algoritmalar genellikle optimizasyon algoritmalarına dayanır ve var olan parametreleri optimize ederek bir sonuca ulaşmaya çalışır.
Bu algoritmalar oluşturulurken bir veri setine, modele ve maliyet fonksiyonuna ihtiyaç duyulur. Bu algoritma eğitilerek istenilen sınıflandırmalar yapılır. Yapılan sınıflandırmanın ne ölçüde doğru olduğunu belirlemek için performans metriklerinden yararlanılır. Makine öğrenmesinde sınıflandırma performansını ölçmek için kullanılan matrise confusion matrix ( karmaşıklık matrisi) adı verilir. 2 sınıflı bir confusion matrix örneği Şekil 1’de gösterilmiştir. Örnekteki 2×2’lik matris TP, FP, FN ve TN olmak üzere dört değere sahiptir. Bu değerler ve taşıdığı anlamlar Tablo 1’de açıklanmıştır.
| TP (True Pozitif) | Hem gerçekte pozitif olan hem de modelin pozitif olarak tahmin ettiği değerlerdir. |
| TN (True Negatif) | Hem gerçekte negatif olan hem de modelin negatif olarak tahmin ettiği değerlerdir. |
| FP (False Pozitif) | Gerçekte negatif olan ama modelin pozitif olarak tahmin ettiği değerlerdir. |
| FN (False Negatif) | Gerçekte pozitif olan ama makinenin negatif olarak tahmin ettiği değerlerdir. |
Confusion matrisinin oluşması için iki tür veri setine ihtiyaç vardır: Eğitim verisi ve test verisi. Oluşturulan eğitim algoritmasının elde ettiği sınıflandırma ile (eğitim verisi üzerinde), etiketli olan test veri setinin farklı şekillerde karşılaştırılması ile confusion matrix elde edilir. Confusion matrixin boyutu sınıflandırılmaya sokulan sınıf sayısı boyutunda bir matrixtir. Örneğin 3 sınıflı bir çiçek veri setinin confusion matrix boyutu 3x3 biçimindedir.
Yapılan sınıflandırmanın doğruluk gibi oranlarını belirlemek için Confusion matrix’te yer alan (Şekil 1) değerler (TP, TN, FP, FN) kullanılır. Bu değerler ile Accuracy, Precision, Recall, Sensitivity, Specificity, F1 Score ve geometrik ortalama olarak adlandırılan performans metrikleri belirlenir. Performans metrikleri sınıflandırma modelimizin kalitesini belirler. Performans metriklerinin hepsi farklı formüller ile hesaplanır. Bu formüller Tablo 2’de belirtildiği gibidir.
Tablo 1’de belirtilen her bir değer farklı bir hesaplama sonucu bulunur. Bu değerler birbirine benzese de aralarında oldukça önemli farklar vardır. Bunları sırası ile açıklayacak olursak;
Accuracy, yani doğruluk değerini bulmak için doğru tahmin edilen değerler (TP ve TN), tablodaki diğer tüm değerlere bölünür. Burada modeliminiz bulduğu doğru değerlerin diğer değerlere bölünmesiyle, modelin yüzde kaç oranda doğru tahmin yaptığı belirlenir.
Specificity, gerçek negatif değerlerin tüm negatif değerlere oranı ile bulunur. Yani negatif olan değerlerden kaç tanesi doğru olarak tahmin edildiği sonucunu verir.
Precision, pozitif olarak tahmin edilen değerlerden kaç tanesinin gerçekten pozitif olduğun bulmak için kullanılır. Yani gerçek pozitif değerlerin toplam pozitif değerlere oranıdır.
Recall (Sensitivity), pozitif değer alan kişilerden kaç tanesinin gerçekte pozitif olarak tahmin edildiğini bulmak için kullanılır.
F1 Score, bir testin doğruluğunun bir ölçmek için kullanılır. F1 Score, Precision ve Recall değerlerinin harmonik ortalamasını hesaplayarak elde edilir. Harmonik ortalama kullanılma sebebi ise herhangi bir durumun göz ardı edilmemesi içindir. F1 Score değeri 1’e ne kadar yakınsa model o kadar iyi demektir.
Geo. Ortalama, dengeli olmayan Sensitivity ve Specificity değerlerini tek bir sonuç ile dengeli hale getirmek için kullanılır.
Örnek
Şekil 2’de verilen örnekte iki tür çiçek türünün (gül ve papatya) sınıflandırılmasına ait bir matrixtir. Matrixte yer alan değerler doğrultusunda performans metriklerini hesaplayarak modelin kalitesi bulunacaktır.
Kaynak
[1] https://bigdata.gazi.edu.tr/akcayol/files/DL_L3_MachineLearning.pdf[2] https://iremkomurcu.medium.com/confusion-matrix-nedir-ve-neden-kullanılır-cd686a7fc993
[3] https://devreyakan.com/performans-metrikleri/
[4] https://towardsdatascience.com/shou...ecall-or-specificity-sensitivity-3946158aace1
[5] https://iq.opengenus.org/precision-...ll or Sensitivity is the,are one and the same.