On Noise Effect in Semi-supervised Learning

Abstract

The article deals with the problem of noise effect on semi-supervised learning. The goal of this article is to analyze the impact of noise on the accuracy of binary classification models created using three semi-supervised learning algorithms, namely Simple Recycled Selection, Incrementally Reinforced Selection, and Hybrid Algorithm, using Support Vector Machines to build a base classifier. Different algorithms to compute similarity matrices, namely Radial Bias Function, Cosine Similarity, and K-Nearest Neighbours were analyzed to understand their effect on model accuracy. For benchmarking purposes, datasets from the UCI repository were used. To test the noise effect, different amounts of artificially generated randomly-labeled samples were introduced into the dataset using three strategies (labeled, unlabeled, and mixed) and compared to the baseline classifier trained with the original dataset and the classifier trained on the reduced-size original dataset. The results show that the introduction of random noise into the labeled samples decreases classifier accuracy, while a moderate amount of noise in unmarked samples can have a positive effect on classifier accuracy.

У статті розглядається проблема впливу шуму на точність у задачах напівккерованого навчання. Метою цієї статті є аналіз впливу шуму на точність моделей бінарної класифікації, створених за допомогою трьох напівкерованих алгоритмів навчання, а саме: Simply Recycled Selection (SRS), Incrementally Reinforced Selection (IRS) і Hybrid Algorithm (HYB). У якості базового класифікатора використано Support Vector Machine (SVM). Ми проаналізуємо різні алгоритми для обчислення матриць подібності, а саме Radial Bias Function, Cosine Simmilarity і K-Nearest Neighbours. Для цілей порівняльного аналізу використовуватимуться набори даних зі сховища UCI. Щоб перевірити вплив шуму, різна кількість штучно згенерованих випадково позначених зразків було введено в набір даних з використанням трьох стратегій (маркована, не маркована та змішана) і порівняно з базовим класифікатором, навченим з вихідним набором даних, і класифікатором, навченим на вихідному наборі даних зменшеного розміру. Результати показують, що введення випадкового шуму в марковані зразки погіршує точність моделі, а введення випадкового шуму в немарковані дані може навпаки підвищити точність моделі.