Hybrid neural network optimization system based on ant algorithms

Abstract

The ant multi-criteria algorithm for feed forward neural networks training is proposed. It is used two criteria: the error of generalization and complexity. It is represented a review of neural network learning using swarm algorithms. As a result of training it is determined a structure of neural network (a number of layers and neurons in then) and the values of weight coefficients and biases. Modification of well-known algorithms consists in using the concept of Pareto optimality. It is done the research of proposed algorithm on the example of multilayer perceptron for the approximation problem solution.

Запропоновано багатокритеріальний мурашиний алгоритм для навчання нейронних мереж прямого поширення. Використовується два критерії: помилка узагальнення і складність. Представлено огляд методів навчання нейронної мережі з використанням ройових алгоритмів. В результаті навчання визначається структура нейронної мережі (кількість шарів і нейронів у ній) та значення вагових коефіцієнтів і зсувів. Модифікація відомих алгоритмів полягає у використанні концепції оптимальності за Парето. Проведено дослідження запропонованого алгоритму на прикладі багатошарового персептрона для розв’язання задачі апроксимації.