Програмний засіб перенесення нейронного стилю для зміни представлення зображень

Abstract

Передача стилю полягає у створенні зображення з тим самим "вмістом", що і базове зображення, але зі "стилем" іншого зображення (як правило, художнього). Це досягається за рахунок оптимізації функції втрат, яка складається з 3 компонентів: "втрата стилю", "втрата вмісту" та "загальна втрата змін": Повна втрата варіації накладає місцеву просторову неперервність між пікселями комбінованого зображення, надаючи йому візуальну цілісність. Втрата стилю полягає там, де глибоке навчання зберігається - це визначається за допомогою глибокої згорткової нейронної мережі. Точніше, він складається із суми L2 відстаней між матрицями Грама подань базового зображення та еталонного зображення стилю, витягнутих з різних шарів коннету (тренованих на ImageNet). Загальна ідея полягає у захопленні інформації про колір / текстуру в різних просторових масштабах (досить великі масштаби - визначаються глибиною розглянутого шару).