Zdjęcia Aly Song / REUTERS
Matematykom udało się doprowadzić informacyjną pojemność нейросети do teoretycznie możliwej granicy, ucząc ją, aby pozbyć się nadmiaru informacji, jak to sprawia, że żywy mózg podczas snu
Trzech włoskich matematyków zaopatrzony sztuczną sieć neuronową zdolnością do snu. Była oparta na sieć neuronowa Хопфилда, którą uważają za zbliżeniem zasad działania mózgu. “Na wzór mechanizmów snu i śnienia w mózgu ssaków zaproponowaliśmy rozwój tego modelu, w którym przeplatają się standardowy szkolenia mechanizm online (czuwanie), który pozwala gromadzić i przechowywać informacje obcego, i mechanizm konsolidacji pamięci offline” — piszą autorzy w swoim artykule.
Według współczesnych poglądów, głównym celem snu u ssaków — przywracanie tzw. “synaptic homeostazy”: niepotrzebne połączenia między neuronami, powstające przy zapamiętywaniu informacji w ciągu dnia, są niszczone, a te nieliczne, że kodują naprawdę ważne informacje, przeciwnie, umacnia. Za pomocą tego mechanizmu jesteśmy w stanie każdego dnia zapamiętać coś nowego, choć przy tym całkowita liczba i rysunek połączeń między neuronami praktycznie się nie zmienia. Możliwe, że z oddziałem ważnych wspomnień z drobnych wiąże się również zjawisko snów.
Standardowa sieć neuronowa Хопфилда — a w zasadzie to po prostu program komputerowy — oczywiście, sama w sobie nie ma możliwość przejście z jawy do snu i z powrotem. Ona może uczyć się i zachowania informacyjne “wzory”, jednak jej pojemność jest ograniczona. Autorzy pracy przebudowano łódź, dodając do niego odpowiednik dobowego cyklu: fazę czuwania następowały po faza snu. Przy tym sam sen, jak to się dzieje i u ssaków, подразделялся na fazy “spokojny sen” (to głęboki sen bez marzeń sennych, kiedy, jak myślą, w mózgu następuje konsolidacja pamięci) i “rem” (w tej fazie, jak niektórzy uważają, mózg pozbywa się zbędnych informacji).
Wynik okazał się dość niezwykłe. W pierwotnej formie pojemność sieci Хопфилда — wskaźnik jej skuteczności, измеряющийся w bitach na synapse — wynosił zaledwie 0,14. Jednak po dodaniu cyklu wskaźnik ten osiągnął teoretycznie możliwego maksimum dla symetrycznego neural network — jednostki. Wynik został potwierdzony przez liczne symulacje ekonomiczne: jeżeli pozwól neural network od czasu do czasu spać, jej wydajność znacznie wzrasta. “Uważamy, że choć w procesach myślenia kluczową rolę odgrywają szkolenia i usuwanie informacji, sen również jest ich integralną częścią, że tak samo jest prawdziwe dla sztucznej inteligencji, jak i dla biologicznego” — mówi współautor pracy, Adriano Barra z uniwersytetu w Salento.
Praca włoskich matematyków jest bardziej teoretyczny charakter i jest mało prawdopodobne, może być natychmiast wykorzystana do rozwiązywania zadań praktycznych. Niemniej jednak, jest przykładem tego, jak w opracowywaniu koncepcji sztucznej inteligencji może pomóc kopiowanie mechanizmów działania żywego mózgu, a nawet w tych przypadkach, gdy do pełnego zrozumienia tych mechanizmów jest jeszcze bardzo daleko.