Semi-supervised Learning Based on Graph Stochastic Co-Training

Abstract

This article is devoted to the development of a new approach in semi-supervised machine learning. The goal of this article is to analyze the accuracy of the single-view co-training system, based on the use of a modified graph-based stochastic label propagation algorithm for a multiclass classification problem. Graph transformation of data is preceded by feature decomposition, with three algorithms being compared: Singular Value Decomposition, Truncated Singular Value Decomposition, Iterative Primary Component Analysis, Kernel Primary Component Analysis. To improve the accuracy of the proposed method, additional parameter was included in the label propagation algorithm, allowing for the usage of the algorithm in co-training systems. Further performance increases are achieved via optimization of data modification, which is achieved by applying feature decomposition methods and parallelizing the calculation-heavy processes. As examples of practical use were considered solutions to the problem of multiclass classification for standard datasets of the library sklearn and for the real dataset Traffic Signs Preprocessed. Analyses of the results of the implementation of the proposed approach showed improvements in accuracy and of performance solving the multiclass classification problem.

Статтю присвячено розробленню нового підходу в машинному навчанні з частковим залученням учителя. Мета статті – аналіз точності системи спільного навчання з частковим залученням учителя, що ґрунтується на використанні модифікованого графового стохастичного алгоритму поширення міток для задачі багатокласової класифікації. Графовому перетворенню даних передує декомпозиція ознак, при цьому порівнюються чотири алгоритми: декомпозиція сингулярних значень, декомпозиція усічених сингулярних значень, ітеративний аналіз первинних компонент і ядерний аналіз первинних компонент. Для підвищення точності запропонованого методу в алгоритм поширення міток було включено додатковий параметр, що дає змогу використовувати алгоритм у системах спільного навчання. Подальше збільшення продуктивності досягається за рахунок оптимізації модифікації даних, що досягається застосуванням методів декомпозиції ознак і розпаралелюванням обчислювально-витратних процесів. Як приклади практичного використання було розглянуто розв’язання задачі багатокласової класифікації для стандартних наборів даних бібліотеки sklearn і для реального набору даних Traffic Signs Preprocessed. Аналіз результатів реалізації запропонованого підходу показав підвищення точності та продуктивності під час розв’язання задачі багатокласової класифікації.