Please use this identifier to cite or link to this item:
https://er.nau.edu.ua/handle/NAU/62255
Title: | Structural-parametric Synthesis of Capsule Neural Networks |
Other Titles: | Структурно-параметричний синтез капсульних нейронних мереж |
Authors: | Sineglazov, Victor Синєглазов, Віктор Михайлович Kudriev, Denys Кудрєв, Денис Олексійович |
Keywords: | capsule neural network structural and parametric synthesis genetic algorithm adaptive estimation of moment (Adam) classification problem капсульна нейронна мережа структурно-параметричний синтез генетичний алгоритм адаптивна оцiнка момента (Adam) задача класифікації |
Issue Date: | 27-Dec-2023 |
Publisher: | National Aviation University |
Citation: | Sineglazov V. M. Structural-parametric Synthesis of Capsule Neural Networks / V. M. Sineglazov, D. O. Kudriev // Electronics and Control Systems, N 4(78) – Kyiv: ТОВ «Альянт», 2023. – pp. 34–43. |
Series/Report no.: | Electronics and Control Systems;№4(78) Електроніка та системи управління;№4(78) |
Abstract: | This work is dedicated to the structural-parametric synthesis of capsule neural networks. A methodology for structural-parametric synthesis of capsule neural networks has been developed, which includes the following algorithms: determining the most influential parameters of the capsule neural network, a hybrid machine learning algorithm. Using the hybrid algorithm, the optimal structure and values of weight coefficients are determined. The hybrid algorithm consists of a genetic algorithm and a gradient algorithm (Adam). 150 topologies of capsule neural networks were evaluated, with an average evaluation time of one generation taking 10 hours. Chromosomes and weights are stored in the generation folder. The chromosome storage format is JSON, using the jsonpickle library for writing. Also, when forming a new generation, chromosome files from previous generations are used as a "cache". If a chromosome of the same structure exists, the accuracy is assigned immediately to avoid unnecessary training of neural networks. As a result of using the hybrid algorithm, the optimal topology and parameters of the capsule neural network for classification tasks have been found. Дану роботу присвячено структурно-параметричному синтезу капсульних нейронних мереж. Розроблено методологію структурно-параметрично синтезу капсульних нейронних яка включає наступні алгоритми: визначення найбільш впливових параметрів НМ, гібридний алгоритм машинного навчання. За допомогою гібридного алгоритму визначається оптимальна структура та значення вагових коефіцієнтів. Гібридний алгоритм складається з генетичного алгоритму та градієнтного алгоритму (Adam). було оцінено 150 топологій капсульних нейронних мереж. Середній час оцінки одного покоління складав 10 годин. Хромосоми та ваги зберігаються у папку покоління. Формат збереження хромосом – json, механізм запису бібліотека jsonpickle. Також при утворення нового покоління, файли хромосом з інших поколінь використовуються як “кеш”, якщо існує хромосома такого самого вигляду, то особині одразу присвоюється точність, для уникнення зайвих тренувань нейромереж. В результаті використання гібридного алгоритму знайдено оптимальну топологію та параметри капсульної нейронної мережі для вирішення задачі класифікації. |
Description: | [1] G. Hinton, А. Krizhevsky, and S. Wang, “Transforming Auto-Encoders,” Artificial Neural Networks and Machine Learning: ICANN 2011, 21st International Conference on Artificial Neural Networks, Espoo, Finland, June 14-17, 2011, Proc., Part I. 44–51. https://doi.org/10.1007/978-3-642-21735-7_6. [2] S. Sabour, N. Frosst, and G. E. Hinton, Dynamic Routing Between Capsules. arXiv:1710.09829. https://doi.org/10.48550/arXiv.1710.09829 [3] Edgar Xi, Selina Bing, and Yang Jin, Capsule network performance on complex data. arXiv: 1712.03480. https://doi.org/10.48550/arXiv.1712.03480 [4] Dilin Wang and Qiang Liu, An optimization view on dynamic routing between capsules, 2018. URL: https://openreview.net/forum?id=HJjtFYJDf [5] Jan Eric Lenssen, Matthias Fey, and Pascal Libuschewski, Group equivariant capsule networks. arXiv: 1806.05086. https://doi.org/10.48550/arXiv.1806.05086 [6] Geoffrey E Hinton, Sara Sabour, and Nicholas Frosst, Matrix capsules with EM routing, 2018. URL: https://openreview.net/pdf?id=HJWLfGWRb [7] Mohammad Taha Bahadori, Spectral capsule networks, 2018. URL: https://openreview.net/pdf?id=HJuMvYPaM [8] Fabio De Sousa Ribeiro1, Georgios Leontidis, and Stefanos D Kollias, Capsule routing via variational bayes. arXiv: 1905.11455. https://doi.org/10.48550/arXiv.1905.11455 [9] Jindong Gu and Volker Tresp, Improving the robustness of capsule networks to image affine transformations. arXiv: 1911.07968. https://doi.org/10.48550/arXiv.1911.07968 [10] Inyoung Paik, Taeyeong Kwak, and Injung Kim, Capsule networks need an improved routing algorithm. arXiv: 1907.13327. https://doi.org/10.48550/arXiv.1907.13327 [11] Sai Raam Venkatraman, Ankit Anand, S Balasubramanian, and R Raghunatha Sarma, Learning compositional structures for deep learning: Why routing-by-agreement is necessary. arXiv: 2010.01488. https://doi.org/10.48550/arXiv.2010.01488 [12] Adam Byerly, Tatiana Kalganova, and Ian Dear, No Routing Needed Between Capsules. arXiv: 2001.09136. https://doi.org/10.48550/arXiv.2001.09136 [13] Jaewoong Choi, Hyun Seo, Suii Im, and Myungjoo Kang, Attention routing between capsules. arXiv: 1907.01750. https://doi.org/10.48550/arXiv.1907.01750 [14] Yao-Hung Hubert Tsai, Nitish Srivastava, Hanlin Goh, and Ruslan Salakhutdinov. Capsules with inverted dot-product attention routing. arXiv: 2002.04764. https://doi.org/10.48550/arXiv.2002.04764 [15] Dunlu Peng, Dongdong Zhang, Cong Liu, and Jing Lu, “Bg-sac: Entity relationship classification model based on self-attention supported capsule networks,” Appl. Sof Comput. 91, 106186, 2020. https://doi.org/10.1016/j.asoc.2020.106186 [16] V. Mazzia, F. Salvetti, & M. Chiaberge, “Efficient-CapsNet: capsule network with self-attention routing,” Sci Rep 11, Article number 14634, 2021. https://doi.org/10.1038/s41598-021-93977-0. |
URI: | https://er.nau.edu.ua/handle/NAU/62255 |
ISSN: | 1990-5548 |
DOI: | 10.18372/1990-5548.78.18261 |
Appears in Collections: | Наукові публікації та матеріали кафедри авіаційних комп'ютерно-інтегрованих комплексів (НОВА) |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.