Metin sınıflandırması yöntemi ile görev dağıtım sürecinin birim bazlı yönetimi: Sınıf dengelemenin algoritmaya özgü etkileri

Abstract

Dengesiz sınıf dağılımları, belge sınıflandırmasında önemli zorluklar yaratmaktadır; ancak farklı algoritmalar için hangi dengeleme yöntemlerinin daha etkili olduğu hâlâ yeterince anlaşılmamıştır. Bu araştırma, on iki makine öğrenmesi sınıflandırıcısına uygulanan beş dengeleme yönteminin (SMOTE, ADASYN, Borderline-SMOTE, SMOTEENN, SMOTETomek) kapsamlı bir istatistiksel analizini sunmaktadır. Çalışmada, Sosyal Güvenlik Kurumu'na ait 2.240 Türkçe kurumsal belgeden oluşan özgün bir veri kümesi kullanılmıştır. Veri kümesi, beş işlevsel sınıf arasında marjinal düzeyde bir sınıf dengesizliği (2,2:1) içermektedir. Bu tür bir dengesizlik seviyesi, gerçek kurumsal ortamlarda sıkça görülmesine rağmen, literatürde çoğunlukla ağır dengesizliğe sahip kıyas veri kümelerine odaklanıldığı için yeterince incelenmemiştir. Katmanlı 10 katlı çapraz doğrulama, eşleştirilmiş t-testleri ve 72 deneysel yapılandırma (12 algoritma × 6 koşul) kapsamında gerçekleştirilen 60 istatistiksel karşılaştırma boyunca Cohen'in d etki büyüklüğü ölçümleri aracılığıyla, evrensel dengeleme varsayımlarını sorgulayan algoritmaya bağlı performans farklılıkları gözlemlenmiştir. SMOTEENN yöntemi uygulandığında, on iki sınıflandırıcının onunda performansın p<0,05 düştüğü gözlenmiştir. (ortalama, ΔF1=-0,0495 ortalama; Cohen's d=-1,57; AdaBoost ve Gaussian Naive Bayes algoritmalarında ise negatif fakat istatistiksel olarak anlamlı olmayan değişimler görülmüştür). Buna karşılık, alternatif teknikler algoritmaya özgü sonuçlar üretmiştir. Topluluk öğrenmesi yöntemlerinde yalnızca betimsel ve istatistiksel olarak anlamlı olmayan performans artışları gözlenmiştir (SMOTE ile Random Forest: ΔF1=+0,0043, p=0,470; SMOTE ile AdaBoost: ΔF1=+0,0225, p=0,174). Öte yandan, uzaklık temelli KNN (K-Nearest Neighbors) sınıflandırıcısı tüm dengeleme yöntemlerinde tutarlı performans kayıpları yaşamıştır (ΔF1=-0,0613 ile -0,0328 arasında; tümü p<0,05 ve büyük etki büyüklükleri). Bağımsız test doğrulaması, tüm 72 yapılandırma (baseline dâhil) genelinde ortalama mutlak ΔF1 değerinin 0,034 olmasıyla, sonuçların düşük genelleme farklarıyla doğrulandığını göstermiştir. Bu araştırma, kamu kurumu operasyonel iş akışlarına odaklanan ve sınıf dengeleme analizi ile istatistiksel doğrulama protokolünü birleştiren ilk Türkçe kurumsal yazışma sınıflandırma veri kümesini ve karşılaştırmalı dengeleme çalışmasını literatüre kazandırmakta, dengeleme tekniklerinin evrensel etkinliğini sorgulayan istatistiksel olarak güçlü kanıtlar sunmakta ve bu veri kümesinde gözlenen marjinal dengesizlik rejiminde otomatik dengelemenin gerekli olmayabileceğini, hatta belirli algoritma aileleri için performansı düşürebileceğini ortaya koymaktadır. Bulgular, özellikle kaynak kısıtlı ortamlarda, tek tip çözümler yerine algoritmaya özgü doğrulamanın önemini vurgulamaktadır.

Imbalanced class distributions pose significant challenges in document classification, but which balancing methods work best with different algorithms remains insufficiently understood. This research conducts a rigorous statistical analysis of five balancing methods (SMOTE, ADASYN, Borderline-SMOTE, SMOTEENN, SMOTETomek) applied to twelve machine learning classifiers. We use a novel dataset of 2,240 Turkish institutional documents from the Social Security Institution, with a marginal class imbalance (2.2:1) across five functional classifications — a regime frequently encountered in real institutional settings yet underexamined in the balancing literature, which has focused on severely imbalanced benchmarks. Through stratified 10-fold cross-validation, paired t-tests, and Cohen's d effect-size measurements across 72 experimental configurations (yielding 60 pairwise statistical comparisons), we observed algorithm-dependent performance differences that question universal balancing assumptions. SMOTEENN reduced performance for ten of the twelve classifiers at the p<0,05 level (mean ΔF1=-0,0495, mean Cohen's d=-1,57; AdaBoost and Gaussian Naive Bayes showed negative but non-significant changes), while alternative techniques produced algorithm-specific outcomes: ensemble methods showed only descriptive, non-statistically-significant point gains (Random Forest with SMOTE: ΔF1=+0,0043, p=0,470; AdaBoost with SMOTE: ΔF1=+0,0225, p=0,174), whereas the distance-based K-Nearest Neighbors classifier experienced uniform degradation across every balancing method (ΔF1=-0,0613 to -0,0328, all p<0,05, all large effects). Independent test validation confirmed results with minimal generalization differences (mean absolute ΔF1 = 0,034 across all 72 configurations). This research introduces the first Turkish public-sector operational document classification dataset focused on administrative workflows, provides statistically robust evidence, questioning the universal effectiveness of balancing techniques, and suggests that, in the marginal imbalance regime observed in this dataset, automatic balancing may not be necessary and may even degrade performance for certain algorithm families in this setting. Findings highlight the importance of algorithm-specific validation rather than one-size-fits-all approaches in resource-constrained settings.