Нейросетевые технологии в России (1982–2010)

316 Pages·2012·1.646 MB·Russian

by  Галушкин А.И., Симоров С.Н.

УДК 681.322
ББК 30.17
Г15

Галушкин А. И., Симоров С. Н.
Г15 Нейросетевые технологии в России (1982–2010). – М.: Горячая
линия–Телеком, 2011. – 316 с.: ил.
ISBN 978-5-9912-0228-2.
Книга содержит систематизированную информацию об основных ра-
ботах российских ученых в области теории нейронных сетей, нейросетевых
алгоритмов решения задач, нейрокомпьютеров и их применения, опубли-
кованных в России в период с 1982 по 2010 гг. На основании собранных
в книге материалов авторами проведен системный профессиональный ана-
лиз реального состояния нейросетевых технологий в современной России и
сделаны выводы о высоком научно-техническом потенциале российских
ученых в этой области знаний, с одной стороны, и о недостаточной востре-
бованности этого потенциала со стороны разработчиков промышленных
и социально-экономических информационно-аналитических систем раз-
личного назначения, с другой стороны. В книге собрана обширная спра-
вочно-библиографическая информация в области нейрокомпьютерных
технологий.
Для научных и инженерно-технических работников в области инфор-
матики и вычислительной техники, руководителей и экспертов инноваци-
онных и венчурных компаний, а также студентов и аспирантов разных
специальностей в области компьютерных технологий.
ББК 30.17

Адрес издательства в Интернет www.techbook.ru

Научное издание

Галушкин Александр Иванович, Симоров Сергей Николаевич
Нейросетевые технологии в России.

Художник В. Н. Ситников

Издание осуществлено при поддержке ОАО «ФИНТЕХ»

Подписано в печать 15.11.2011. Формат 60×90/16. Усл. печ. л. 19,75. Тираж 500 (1-й завод 200 экз.)

ISBN 978-5-9912-0228-2 © А. И. Галушкин, С. Н. Симоров, 2011
© Издательство «Горячая линия–Телеком», 2011
ÂÂÅÄÅÍÈÅ
 40-õ è 50-õ ãîäàõ ïðîøëîãî ñòîëåòèÿ òåõíîëîãèÿ ëó÷øå ñîîòâåòñòâî-
âàëà ðåàëèçàöèè ëîãè÷åñêîãî áàçèñà È, ÈËÈ, ÍÅ, ò. å. ýëåìåíòîâ áóëåâñêîé
ëîãèêè. Ñ òîãî âðåìåíè è áóëåâñêàÿ è íåéðîííàÿ ëîãèêà ïîñòîÿííî ðàç-
âèâàëèñü, íàõîäÿ ñâîþ ñôåðó ïðèìåíåíèÿ, ïðè÷åì êîíå÷íî ïîäàâëÿþùàÿ
÷àñòü îñòàâàëàñü çà áóëåâñêîé ëîãèêîé. Ðàçâèòèå òåõíîëîãèé, ðåçêîå ïîâû-
øåíèå óðîâíÿ èíòåãðàöèè ýëåìåíòîâ ïðèâåëè ê íåîáõîäèìîñòè ïåðåõîäà ê
íåéðîííîé ëîãèêå è êàê ñëåäñòâèå ñòàëè âîñòðåáîâàííûìè:
(cid:2) Òåîðèÿ íåéðîííûõ ñåòåé, êàê ìåòîäèêà ñèíòåçà ñòðóêòóð èç íåéðîíîâ
ðàçëè÷íîãî âèäà, àëãîðèòìîâ àäàïòàöèè âåñîâûõ êîýôôèöèåíòîâ â ýòèõ
ñòðóêòóðàõ â ïðîöåññå ðåøåíèÿ ðàçëè÷íûõ çàäà÷.
(cid:2) Íåéðîìàòåìàòèêà, êàê ðàçäåë âû÷èñëèòåëüíîé ìàòåìàòèêè, ñâÿçàí-
íûé ñ ðåøåíèåì â íåéðîñåòåâîì ëîãè÷åñêîì áàçèñå ðàçëè÷íûõ ñëîæíûõ
ôîðìàëèçóåìûõ è íåôîðìàëèçóåìûõ çàäà÷.
(cid:2) Íåéðîêîìïüþòåðû – âû÷èñëèòåëüíûå ñèñòåìû, àðõèòåêòóðà êîòîðûõ
îïòèìèçèðîâàíà äëÿ ðåøåíèÿ çàäà÷ â íåéðîñåòåâîì ëîãè÷åñêîì áàçèñå.
Â.1. Òåîðèÿ íåéðîííûõ ñåòåé – ëîãè÷åñêèé áàçèñ ðàçðàáîòêè
íåéðîñåòåâûõ àëãîðèòìîâ ðåøåíèÿ çàäà÷
Òåîðèÿ íåéðîííûõ ñåòåé ÿâëÿåòñÿ ëîãè÷åñêèì áàçèñîì äëÿ ðåøåíèÿ
çàäà÷ îáùåé è ïðèêëàäíîé íåéðîìàòåìàòèêè, ïîäîáíî òîìóêàê ðàíåå áó-
ëåâñêàÿ áûëà îñíîâîé ðåøåíèÿ çàäà÷ íà ÝÂÌ ñ ôîí-íåéìàíîâñêîé àðõè-
òåêòóðîé [Â.1–Â.5].
Íåéðîííàÿ ñåòü – ñåòü ñ êîíå÷íûì ÷èñëîì ñëîåâ èç îäíîòèïíûõ ýëå-
ìåíòîâ – àíàëîãîâ íåéðîíîâ ñ ðàçëè÷íûìè òèïàìè ñâÿçåé ìåæäó ñëîÿìè.
 ñëîÿõ âûáèðàåòñÿ ÷èñëî íåéðîíîâ, íåîáõîäèìîå äëÿ îáåñïå÷åíèÿ çàäàí-
íîãî êà÷åñòâà ðåøåíèÿ çàäà÷è, à ÷èñëî ñëîåâ íåéðîíîâ – êàê ìîæíî ìåíü-
øåå äëÿ ñîêðàùåíèÿ âðåìåíè ðåøåíèÿ çàäà÷è.
Íèæå èçëîæåíû îñíîâíûå ñâîéñòâà íåéðîííûõ ñåòåé:
(cid:2) Îäíîðîäíûå íåéðîííûå ñåòè îáëàäàþò ñâîéñòâîì ïîñòåïåííîé äå-
ãðàäàöèè ïðè âûõîäå èç ñòðîÿ îòäåëüíûõ ýëåìåíòîâ. Ýòî áûëî îòìå÷åíî
åùå Ô. Ðîçåíáëàòòîì ïðè ïîñòðîåíèè òðåõñëîéíîãî ïåðñåïòðîíà ñî ñëó-
÷àéíûìè ñâÿçÿìè â ïåðâîì ñëîå, êîãäà ÷èñëî ýëåìåíòîâ äàííîãî ñëîÿ áå-
ðåòñÿ èçáûòî÷íûì. Ïðè ýòîì ôóíêöèÿ, ðåàëèçóåìàÿ íåéðîííîé ñåòüþ, êàê
áû ðàñïðåäåëÿåòñÿ ïî ñòðóêòóðå.
(cid:2) Ñòðóêòóðà îäíîðîäíîé íåéðîííîé ñåòè ïðåäîñòàâëÿåò âîçìîæíîñòü
ìàññîâîãî ïàðàëëåëüíîãî ñèíõðîííîãî âûïîëíåíèÿ áîëüøîãî ÷èñëà îïå-
4 À. È. Ãàëóøêèí, Ñ. Í. Ñèìîðîâ. Íåéðîñåòåâûå òåõíîëîãèè â Ðîññèè
ðàöèé, ñîñòîÿùèõ â ñâîþ î÷åðåäü, èç ïðîñòåéøèõ îïåðàöèé ñëîæåíèÿ,
óìíîæåíèÿ è íåëèíåéíîãî áåçûíåðöèîííîãî ïðåîáðàçîâàíèÿ. Â ñòðóêòóðå
íåéðîííîé ñåòè îòñóòñòâóþò ñëîæíûå è «äëèííûå» èððàöèîíàëüíûå îïå-
ðàöèè íàä îïåðàíäàìè (äåëåíèå, èçâëå÷åíèå êîðíÿ è ò.ä.), õàðàêòåðíûå äëÿ
àëãîðèòìîâ, ñâîéñòâåííûõ îäíîïðîöåññîðíûì ìàøèíàì.
(cid:2) Íåéðîííûå ñåòè ðåàëèçóþò äîñòàòî÷íî ãèáêîå è ñëîæíîå ôóíêöèî-
íàëüíîå ïðåîáðàçîâàíèå âõîäíîãî ïðîñòðàíñòâà ñîñòîÿíèé â âûõîäíîå,
ïðè÷åì ãèáêîñòü ýòîãî ïðåîáðàçîâàíèÿ ïðè íåîáõîäèìîñòè ìîæåò ðåãóëè-
ðîâàòüñÿ ÷èñëîì ñëîåâ íåéðîííîé ñåòè è òèïîì ñâÿçåé.
(cid:2) Ñòðóêòóðà íåéðîííûõ ñåòåé äîïóñêàåò àíàëèòè÷åñêîå îïèñàíèå
ïðåîáðàçîâàíèÿ âõîäíîãî ïðîñòðàíñòâà â âûõîäíîå.
(cid:2) Ïðè íàëè÷èè ïðåäûäóùåãî ñâîéñòâà ñòðóêòóðà íåéðîííîé ñåòè
ïîçâîëÿåò òàêæå àíàëèòè÷åñêè ïîëó÷àòü àëãîðèòì íàñòðîéêè íåéðîí-
íûõ ñåòåé è êîíòðîëèðîâàòü åãî ôóíêöèîíèðîâàíèå â ïðîöåññå ðåøåíèÿ
çàäà÷è.
(cid:2) Ñëîæíîñòü íåéðîííîé ñåòè, èñïîëüçóåìîé äëÿ ðåøåíèÿ êîíêðåòíîé
çàäà÷è, îòîáðàæàåò â ñåáå ñëîæíîñòü ñàìîé çàäà÷è.
(cid:2) Â áóäóùåì ñ èñïîëüçîâàíèåì àïïàðàòà ëèíåéíûõ ïîñëåäîâàòåëüíûõ
ìàøèí Ãèëëà ñòðóêòóðà îäíîðîäíûõ íåéðîííûõ ñåòåé ïîçâîëèò ïîäîéòè ê
ðåøåíèþ ïðîáëåìû àíàëèòè÷åñêîãî îïèñàíèÿ, à ñëåäîâàòåëüíî, è ñèíòåçà
àëãîðèòìîâ àäàïòàöèè â ìíîãîñëîéíûõ íåéðîííûõ ñåòÿõ.
Îñíîâíûìè ïðåèìóùåñòâàìè íåéðîííûõ ñåòåé êàê ëîãè÷åñêîãî áàçèñà
àëãîðèòìîâ ðåøåíèÿ ñëîæíûõ çàäà÷ ÿâëÿþòñÿ ñëåäóþùèå:
(cid:2) Èíâàðèàíòíîñòü ìåòîäîâ ñèíòåçà íåéðîííîé ñåòè ê ðàçìåðíîñòè
ïðîñòðàíñòâà ïðèçíàêîâ è èõ ðàçìåðîâ.
(cid:2) Ñîîòâåòñòâèå ñîâðåìåííûì è ïåðñïåêòèâíûì òåõíîëîãèÿì ìèêðî-
ýëåêòðîíèêè.
(cid:2) Îòêàçîóñòîé÷èâîñòü â ñìûñëå ìîíîòîííîãî, à íå êàòàñòðîôè÷åñêîãî
èçìåíåíèÿ êà÷åñòâà ðåøåíèÿ çàäà÷è â çàâèñèìîñòè îò ÷èñëà âûøåäøèõ èç
ñòðîÿ ýëåìåíòîâ.
Àêñèîìàòè÷åñêîé îñíîâîé òåîðèè íåéðîííûõ ñåòåé ÿâëÿåòñÿ âåðîÿò-
íîñòíàÿ áàéåñîâñêàÿ ìîäåëü îêðóæàþùåãî ìèðà. Â ñâÿçè ñ ýòèì ôîðìè-
ðîâàíèå âõîäíîãî ñèãíàëà íåéðîííûõ ñåòåé ïðîèçâîäèòñÿ â âèäå êàíàëà
îáðàçîâ è êàíàëà óêàçàíèé ó÷èòåëÿ, ïðè÷åì âõîäíîé ñèãíàë â îáùåì âèäå
ÿâëÿåòñÿ íåñòàöèîíàðíûì ñëó÷àéíûì ñèãíàëîì ñî ñëîæíîé, íåèçâåñòíîé,
ìíîãîìîäàëüíîé ïëîòíîñòüþ ðàñïðåäåëåíèÿ âåðîÿòíîñòåé.
Òåîðèÿ íåéðîííûõ ñåòåé çàðîäèëàñü â 40-å ãîäà ïðîøëîãî ñòîëåòèÿ è
ïîñòîÿííî àêòèâíî ðàçâèâàëàñü. Ïðîøëî áîëåå 60 ëåò è ýòà òåîðèÿ äàëåêà
îò çàâåðøåíèÿ. Ñóùåñòâóþò äåñÿòêè è ñîòíè íåðåøåííûõ ïðîáëåì, çàäà÷
òåîðèè íåéðîííûõ ñåòåé, êîòîðûå âîçíèêàþò è áóäóò âîçíèêàòü ïðè ðåøå-
íèè ñëîæíûõ çàäà÷.
Ââåäåíèå 5
Â.2. Íåéðîìàòåìàòèêà – ïåðñïåêòèâíûé ðàçäåë
âû÷èñëèòåëüíîé ìàòåìàòèêè
Íåéðîìàòåìàòèêà – ðàçäåë âû÷èñëèòåëüíîé ìàòåìàòèêè, ñâÿçàííûé ñ
ðàçðàáîòêîé ìåòîäîâ è àëãîðèòìîâ ðåøåíèÿ çàäà÷ â íåéðîñåòåâîì áàçèñå.
Îáúåêòèâíîé ïðåäïîñûëêîé ðàçâèòèÿ ýòîãî íîâîãî ðàçäåëà âû÷èñëèòåëü-
íîé ìàòåìàòèêè ÿâëÿåòñÿ áîëåå ÷åì 30-ëåòíèé íàó÷íûé çàäåë â îáëàñòè
òåîðèè íåéðîííûõ ñåòåé, ïîçâîëÿþùèé ñîçäàòü åäèíûé ïîäõîä ê ðàçðà-
áîòêå íåéðîñåòåâûõ àëãîðèòìîâ ðåøåíèÿ ïðàêòè÷åñêè ëþáûõ çàäà÷ îáùåé
è ïðèêëàäíîé ìàòåìàòèêè [Â.6–Â.7].
Íåéðîííûì (èëè íåéðîñåòåâûì) àëãîðèòìîì áóäåì íàçûâàòü âû÷èñëè-
òåëüíóþ ïðîöåäóðó, îñíîâíàÿ ÷àñòü êîòîðîé ìîæåò áûòü ðåàëèçîâàíà â âèäå
íåéðîííîé ñåòè òîé èëè èíîé ñòðóêòóðû ñ àëãîðèòìîì íàñòðîéêè âåñîâûõ
êîýôôèöèåíòîâ. Ãëàâíàÿ çàäà÷à íåéðîêîìïüþòåðà – áûñòðîå ðåøåíèå çà-
äà÷. Ïåðâûå ïîïûòêè ðåøåíèÿ çàäà÷ íà íåéðîêîìïüþòåðàõ îòíîñÿòñÿ ê 60–
70-ì ãîäàì è çàäà÷àì ðàñïîçíàâàíèÿ îáðàçîâ, êîòîðûå ñâÿçàíû ñ àïïðîêñè-
ìàöèåé ôóíêöèé (Ê-êëàññîâ îáðàçîâ) ñóùåñòâóþùèõ â ìíîãîìåðíîì ïðî-
ñòðàíñòâå ïðèçíàêîâ. Çàòåì ñëåäîâàëè íåêîòîðûå ïîïûòêè ðåøåíèÿ äðóãèõ
êëàññè÷åñêèõ çàäà÷, íàïðèìåð îáðàùåíèÿ ìàòðèö.  êîíöå 80-õ ãîäîâ ðåçêî
ðàñøèðèëñÿ êðóã çàäà÷, ðåøàåìûõ ñ ïîìîùüþ íåéðîêîìïüþòåðîâ. Â íàñòî-
ÿùåå âðåìÿ ìîæíî îòêðûòî ãîâîðèòü î ïîòåíöèàëüíîé óíèâåðñàëüíîñòè
íåéðîêîìïüþòåðîâ à òàêæå î òîì, ÷òî â ïðèíöèïå ëþáóþ ìàòåìàòè÷åñêóþ
çàäà÷ó ìîæíî ðåøèòü â íåéðîñåòåâîì ëîãè÷åñêîì áàçèñå.
Äàæå òàêèå, êàçàëîñü áû, ïðîñòûå çàäà÷è, êàê ñëîæåíèå ÷èñåë óìíîæå-
íèå, äåëåíèå, èçâëå÷åíèå êîðíÿ, îáðàùåíèå ÷èñåë è ïîäîáíûå èì, ìíîãèå
ïûòàþòñÿ ðåøèòü ñ ïîìîùüþ íåéðîêîìïüþòåðîâ, òàê êàê ïðè îðèåíòàöèè
íàíåéðîñåòåâóþ ôèçè÷åñêóþ ðåàëèçàöèþ àëãîðèòìîâ ýòè îïåðàöèè ìîæíî
ðåàëèçîâàòü çíà÷èòåëüíî ýôôåêòèâíåå, ÷åì íà áóëåâûõ ýëåìåíòàõ.
Ñôåðà ïðèêëàäíûõ çàäà÷, ðåøàåìûõ ýôôåêòèâíî ñ ïîìîùüþ íåéðî-
êîìïüþòåðîâ, íåïðåðûâíî è áóðíî ðàñòåò. Äîñòàòî÷íî øèðîêèì ÿâëÿåòñÿ
êðóã îáùåìàòåìàòè÷åñêèõ çàäà÷, ýôôåêòèâíî ðåøàåìûõ íåéðîêîìïüþòå-
ðàìè, íàïðèìåð:
(cid:2) Ñèñòåìû ëèíåéíûõ è íåëèíåéíûõ àëãåáðàè÷åñêèõ óðàâíåíèé è íå-
ðàâåíñòâ.
(cid:2) Çàäà÷è àïïðîêñèìàöèè è ýêñòðàïîëÿöèè ôóíêöèé.
(cid:2) Çàäà÷è îïòèìèçàöèè (ëèíåéíîå, íåëèíåéíîå, äèíàìè÷åñêîå ïðî-
ãðàììèðîâàíèå, ñîðòèðîâêà, êîìáèíàòîðíûå çàäà÷è, çàäà÷à êîììèâîÿæå-
ðà, çàäà÷à ñîñòàâëåíèÿ ðàñïèñàíèé, ðàçëè÷íûå çàäà÷è íà ãðàôàõ).
(cid:2) Ðåøåíèå îáûêíîâåííûõ íåëèíåéíûõ äèôôåðåíöèàëüíûõ óðàâ-
íåíèé.
(cid:2) Ðåøåíèå äèôôåðåíöèàëüíûõ óðàâíåíèé â ÷àñòíûõ ïðîèçâîäíûõ.
6 À. È. Ãàëóøêèí, Ñ. Í. Ñèìîðîâ. Íåéðîñåòåâûå òåõíîëîãèè â Ðîññèè
 íåéðîñåòåâîì ëîãè÷åñêîì áàçèñå ðåàëèçóþòñÿ è ïðèìåíÿþòñÿ íà
ïðàêòèêå ðàçëè÷íûå ïðåîáðàçîâàíèÿ, äëÿ âûïîëíåíèÿ êîòîðûõ íà êëàñ-
ñè÷åñêèõ ÝÂÌ íåîáõîäèìû ñïåöèàëüíûå àëãîðèòìû, òàêèå êàê àëãîðèòìû
ïðÿìûõ è îáðàòíûõ òðèãîíîìåòðè÷åñêèõ, ýêñïîíåíöèàëüíûõ ôóíêöèé, â
íåéðîííîé ñåòè – ôóíêöèé àêòèâàöèè.
Îòäåëüíûì âàæíûì ðàçäåëîì îáùåé íåéðîìàòåìàòèêè ÿâëÿåòñÿ êîì-
ïëåêñ çàäà÷, ñâÿçàííûõ ñ ãðàôàìè, â ÷àñòíîñòè, ñ ôîðìàëèçàöèåé çàäà÷ ïî-
èñêà è ïîäñ÷åòà ïóòåé, öèêëîâ è ðàçðåçîâ â ãðàôàõ, à òàêæå çàäà÷ ðàçáèå-
íèÿ, óêëàäêè è ðàñêëàäêè ãðàôîâ.
Âåðîÿòíî, â áëèæàéøèå ãîäû ìíîæåñòâî çàäà÷ îáùåé íåéðîìàòåìàòèêè
áóäåò ðàñøèðÿòüñÿ. Ïðè íàëè÷èè äîñòàòî÷íî áîëüøîãî ÷èñëà íàó÷íûõ ðà-
áîò âî âñåì ìèðå, ïîñâÿùåííûõ íåéðîñåòåâûì àëãîðèòìàì, îñîáåííîñòüþ
îòå÷åñòâåííîé øêîëû íåéðîìàòåìàòèêè ÿâëÿåòñÿ èñïîëüçîâàíèå ýôôåê-
òèâíûõ íàó÷íûõ ðåçóëüòàòîâ â îáëàñòè òåîðèè íåéðîííûõ ñåòåé è ñâÿçàí-
íàÿ ñ ýòèì ýôôåêòèâíàÿìåòîäèêà ðàçðàáîòêè íåéðîñåòåâûõ àëãîðèòìîâ,
àäåêâàòíûõ êîíêðåòíîé ðåøàåìîé çàäà÷å.
Ñîçäàíèå íåéðîìàòåìàòèêè èíèöèèðîâàíî íå ìàòåìàòèêàìè, à ñïåöè-
àëèñòàìè â òåîðèè óïðàâëåíèÿ è íåéðîêîìïüþòåðîâ ïðè «ìîë÷àëèâîì íà-
áëþäåíèè» çà ïðîöåññîì ñî ñòîðîíû óçêèõ ñïåöèàëèñòîâ ïî âû÷èñëèòåëü-
íîé ìàòåìàòèêå. Â îñíîâó ìåòîäèêè ðàçðàáîòêè íåéðîñåòåâûõ àëãîðèòìîâ
ëåãëè ìåòîäû òåîðèè óïðàâëåíèÿ, àíàëèòè÷åñêèõ ñàìîíàñòðàèâàþùèõñÿ
ñèñòåì, àäàïòèâíîé ôèëüòðàöèè è ïð. Íåéðîñåòåâûå àëãîðèòìû ÿâëÿþò-
ñÿ äîñòàòî÷íî «ïîõîæèìè» äëÿ ñàìûõ ðàçíûõ ìàòåìàòè÷åñêèõ çàäà÷, òàê
êàê ïðè ðàçðàáîòêå íåéðîñåòåâûõ àëãîðèòìîâ â ìåòîäèêå ðåøåíèÿ ýòèõ
çàäà÷ íàáëþäàåòñÿ çíà÷èòåëüíîå ÷èñëî îáùèõ ïðîáëåì. Áîëüøèíñòâî èç
íèõ ëèáî âîîáùå íå ðàññìàòðèâàþòñÿ, ëèáî óìàë÷èâàþòñÿ â ïðîöåññå ðàç-
ðàáîòêè êëàññè÷åñêèõ àëãîðèòìîâ ðåøåíèÿ. Îáúåêòèâíûìè ïðè÷èíàìè
ïåðåõîäà ê íåéðîñåòåâûì àëãîðèòìàì ðåøåíèÿ ðàçëè÷íûõ çàäà÷ ÿâëÿþòñÿ
ñëåäóþùèå:
(cid:2) Íåðåøàåìîñòü ñëîæíûõ îáùåìàòåìàòè÷åñêèõ è ïðèêëàäíûõ çàäà÷ â
çàäàííîå âðåìÿ íà âû÷èñëèòåëüíûõ ñèñòåìàõ äðóãèõ àðõèòåêòóð (ïðè ðàâ-
íîé ñòîèìîñòè íåéðîêîìïüþòåðîâ è óêàçàííûõ âû÷èñëèòåëüíûõ ñèñòåì).
(cid:2) Îáúåêòèâíàÿ íåîáõîäèìîñòü èñïîëüçîâàíèÿ íåéðîñåòåâîãî àëãî-
ðèòìà, åãî àäåêâàòíîñòü ðåøàåìîé çàäà÷å.
Îòñþäà ñëåäóþò îñíîâíûå îòëè÷èÿ íåéðîñåòåâûõ àëãîðèòìîâ îò
ïðî÷èõ:
(cid:2) Ñâåðõâûñîêàÿ ïàðàëëåëüíîñòü (ïàðàëëåëüíîñòü íåéðîñåòåâûõ àëãî-
ðèòìîâ âñåãäà âûøå, ÷åì ïàðàëëåëüíîñòü òåõíè÷åñêèõ ñðåäñòâ, èõ ðåàëè-
çóþùèõ).
(cid:2) Âûñîêîå îòíîøåíèå ïðîèçâîäèòåëüíîñòè ê ñòîèìîñòè (èëè ãàáàðè-
òàì) äëÿ òåõíè÷åñêèõ ñðåäñòâ, èõ ðåàëèçóþùèõ.
Ââåäåíèå 7
Ïðè äàëüíåéøåì ðàçâèòèè íåéðîìàòåìàòèêè, êàê ðàçäåëà âû÷èñëèòåëü-
íîé ìàòåìàòèêè, ðåàëèçóþùåãî çàäà÷è îáùåé è ïðèêëàäíîé ìàòåìàòèêè â
íåéðîñåòåâîì ëîãè÷åñêîì áàçèñå, íåéðîêîìïüþòåðû áóäóò ïðåòåíäîâàòü íà
ðîëü óíèâåðñàëüíûõ âû÷èñëèòåëüíûõ ñèñòåì.
Â.3. Íåéðîêîìïüþòåðû [Â.8–Â.9]
Ïðîøëî òî âðåìÿ êîãäà ñâåðõâûñîêîïðîèçâîäèòåëüíûå ÝÂÌ, èëè
ÑóïåðÝÂÌ, ñòðîèëèñü â âèäå ñîâîêóïíîñòè ìàëîãî ÷èñëà ïðîöåññîðîâ,
ïðåäíàçíà÷åííûõ äëÿ áûñòðîãî ñ÷åòà. Íàñòóïèëà ýðà ÝÂÌ ñ ìàññîâûì ïà-
ðàëëåëèçìîì, â êîòîðûõ ÷èñëî ïðîöåññîðîâ ìîæåò ðàâíÿòüñÿ íåñêîëüêèì
ñòà òûñÿ÷àì, ìèëëèîíàì è áîëåå. Ïðè÷åì, åñëè ðàíåå ÑóïåðÝÂÌ áûëè
ñëîæíûìè äîðîãîñòîÿùèìè êîíñòðóêöèÿìè, òî ÝÂÌ ñ ìàññîâûì ïàðàë-
ëåëèçìîì – ýòî ìîäóëüíûé ðÿä âû÷èñëèòåëüíûõ ñðåäñòâ îò ïëàòû ïåðñî-
íàëüíîé ÝÂÌ, óâåëè÷èâàþùåå åå áûñòðîäåéñòâèå â äåñÿòêè, ñîòíè, òûñÿ-
÷è ðàç ïðè ðåøåíèè îòäåëüíûõ ãðóïï çàäà÷, äî êîíñòðóêöèé, ñîñòîÿùèõ èç
íåñêîëüêèõ ñòîåê.
 íàñòîÿùåå âðåìÿ ÝÂÌ ñ ìàññîâûì ïàðàëëåëèçìîì ðàçâèâàþòñÿ â
îñíîâíîì â òðåõ íàïðàâëåíèÿõ.
Ïåðâîå íàïðàâëåíèå ñâÿçàíî ñ ñîçäàíèåì ìíîãîïðîöåññîðíûõ âû÷èñ-
ëèòåëüíûõ ñèñòåì, â êîòîðûõ óâåëè÷åíèå áûñòðîäåéñòâèÿ îáåñïå÷èâàåòñÿ
óâåëè÷åíèåì ÷èñëà è ïðîèçâîäèòåëüíîñòè, ñîåäèíåííûõ ìåæäó ñîáîé ïðî-
öåññîðîâ, ïîñòðîåííûõ ïî êëàññè÷åñêîé ôîí-íåéìàíîâñêîé àðõèòåêòóðå.
Âòîðîå íàïðàâëåíèå ñâÿçàíî ñ ñîçäàíèåì ÑóïåðÝÂÌ ñ ãèáðèäíîé àðõèòåê-
òóðîé, ãäå âû÷èñëèòåëüíîå ÿäðî ñòðîèòñÿ àíàëîãè÷íî ïåðâîìó íàïðàâëåíèþ,
íî çíà÷èòåëüíàÿ ÷àñòü âû÷èñëèòåëüíîé ìîùíîñòè ðåàëèçóåòñÿ â ïåðèôåðèé-
íîé îáîëî÷êå â îñíîâíîì íà áàçå òàê íàçûâàåìûõ ãðàôè÷åñêèõ ïðîöåññîðîâ.
Òðåòüå íàïðàâëåíèå ñâÿçàíî ñ ñîçäàíèåì ïðèíöèïèàëüíî äðóãèõ àëãî-
ðèòìîâ ðåøåíèÿ çàäà÷ ñ îòêàçîì îò ôîí-íåéìàíîâñêîãî ÝÂÌ áóëåâñêîãî
ëîãè÷åñêîãî áàçèñà è ïåðåõîäîì ê íåéðîñåòåâîìó ëîãè÷åñêîìó áàçèñó. Íåé-
ðîêîìïüþòåðû ïîëó÷èëè áûñòðîå ðàçâèòèå â êîíöå 80-õ ãîäîâ ïðîøëîãî ñòî-
ëåòèÿ. Ýòî ñâÿçàíî ñ ðàçâèòèåì ìèêðîýëåêòðîíèêè, êîãäà ñòàëî âîçìîæíûì
â îäíîì êðèñòàëëå ðåàëèçîâàòü êàñêàäèðóåìûé ôðàãìåíò íåéðîííîé ñåòè.
Àðõèòåêòóðà ôîí-Íåéìàíà, ïðåäñòàâëåííàÿ åùå â 1945 ã. È ñ ìîäèôèêà-
öèÿìè ïðèìåíÿåìàÿ äî ñèõ ïîð â áîëüøèíñòâå ìèêðîïðîöåññîðîâ, èñêóñ-
ñòâåííî ðàçäåëÿåò îáðàáîòêó äàííûõ îò õðàíåíèÿ ïóòåì ðàçäåëåíèÿ ïðî-
öåññîðà è ïàìÿòè. Ýòî ðàçäåëåíèå òðóäà äåëàåò ñëîæíûì çàäà÷è îòäåëåíèÿ
äàííûõ, ïîëó÷åííûõ èç ìíîæåñòâà ïîòîêîâ. Íà ñåãîäíÿøíèé äåíü ýòî íå-
ðåøåííàÿ ïðîáëåìà íîìåð îäèí äëÿ êîìïüþòåðíûõ ñèñòåì. Íåéðîêîìïüþ-
òåðû, â ñâîþ î÷åðåäü, ðàñïðåäåëÿþò îáðàáîòêó è ïàìÿòü â ïðåäåëàõ îäíîé
ñèñòåìû – íåéðîííîé ñåòè, ñîñòîÿùåé èç àíàëîãîâ íåéðîíîâ è ñèíàïñîâ.
8 À. È. Ãàëóøêèí, Ñ. Í. Ñèìîðîâ. Íåéðîñåòåâûå òåõíîëîãèè â Ðîññèè
Íåéðîêîìïüþòåðîì â ïðîñòåéøåì ñëó÷àå ñ÷èòàåòñÿ ïåðñîíàëüíàÿ
ÝÂÌ ñ çàïðîãðàììèðîâàííûì íà íåì íåéðîñåòåâûì àëãîðèòìîì ðåøå-
íèÿ çàäà÷è. Äëÿ íåêîòîðûõ çàäà÷ òàêàÿ ðåàëèçàöèÿ íåéðîêîìïüþòåðà ÿâ-
ëÿåòñÿ âïîëíå ïðèåìëåìîé. Îäíàêî íå ýòè çàäà÷è îïðåäåëÿþò îñíîâíóþ
ïåðñïåêòèâó ðàçâèòèÿ íåéðîêîìïüþòåðîâ, à òå, äëÿ êîòîðûõ ïðè òàêîé
ðåàëèçàöèè âðåìÿ ðåøåíèÿ çàäà÷è îêàçûâàåòñÿ íåäîïóñòèìî áîëüøèì. Â
ýòîì ñëó÷àå åñòåñòâåííûì âûõîäîì èç ñîçäàâøåãîñÿ ïîëîæåíèÿ ÿâëÿåòñÿ
ðàçðàáîòêà ïëàòû-ñîïðîöåññîðà ê ïåðñîíàëüíîé ÝÂÌ, êîòîðàÿ ïîçâîëÿåò
óñêîðèòü íåéðîñåòåâûå îïåðàöèè. Ïåðñîíàëüíàÿ ÝÂÌ â êîìïëåêòå ñ òàêîé
íåéðîïëàòîé ÿâëÿåòñÿ êëàññè÷åñêèì íåéðîêîìïüþòåðîì. Ïðè ýòîì âñòà-
åò âîïðîñ î êîëè÷åñòâå òàêèõ íåéðîïëàò â êîìïüþòåðå, ÷òîáû ìîæíî áûëî
äîñòè÷ü ïðèåìëåìîãî äëÿ çàêàç÷èêà âðåìåíè ðåøåíèÿ çàäà÷è. Ñâåðõïàðàë-
ëåëüíîñòü íåéðîñåòåâûõ àëãîðèòìîâ ïîçâîëÿåò îáåñïå÷èòü ëèíåéíûé ðîñò
ñêîðîñòè íåéðîêîìïüþòåðà îò ÷èñëà òàêèõ ïëàò. Ïîýòîìó íåéðîêîìïüþòåð
ìîæåò ïðåäñòàâëÿòü ñîáîé:
(cid:2) ïåðñîíàëüíóþ ÝÂÌ ñ âñòðîåííîé îäíîé èëè íåñêîëüêèìè íåé-
ðîïëàòàìè;
(cid:2) õîñò-ÝÂÌ â âèäå ïåðñîíàëüíîé ÝÂÌ ñ äîïîëíèòåëüíûì áëîêîì,
íàïîëíåííûì íåéðîïëàòàìè;
(cid:2) íåñêîëüêî õîñò-ÝÂÌ ñ äîïîëíèòåëüíîé ñòîéêîé èç íåñêîëüêèõ
áëîêîâ, íàïîëíåííûì íåéðîïëàòàìè.
Ñëåäóåò îòìåòèòü íåñêîëüêî ïðèíöèïèàëüíûõ ìîìåíòîâ, õàðàêòåðè-
çóþùèõ àðõèòåêòóðó íåéðîêîìïüþòåðîâ:
1. Íåéðîêîìïüþòåðû ÿâëÿþòñÿ âåòâüþ ðàçâèòèÿ ÑóïåðÝÂÌ ñ ìàññî-
âûì ïàðàëëåëèçìîì ñ îðèãèíàëüíîé, îòëè÷íîé îò êëàññè÷åñêîé èäååé ðàñ-
ïàðàëëåëèâàíèÿ àëãîðèòìîâ ðåøåíèÿ ñëîæíûõ ôîðìàëèçóåìûõ è íåôîð-
ìàëèçóåìûõ çàäà÷.
2. Òåðìèíû «Íåéðîííûå ÝÂÌ – íåéðîêîìïüþòåð – ñóïåðíåéðîêîì-
ïüþòåð», êàê ïðàâèëî, íèêàê íå ñâÿçàíû ñ êàêèìè-òî íè áûëî ñâîéñòâàìè
è õàðàêòåðèñòèêàìè íåðâíîé ñèñòåìû ÷åëîâåêà è æèâîòíûõ. Îíè ñâÿçàíû
ñ óñëîâíûì íàèìåíîâàíèåì.
3.  íåéðîêîìïüþòåðàõ ëîãè÷åñêèì áàçèñîì âû÷èñëèòåëüíîé ñèñòåìû
ÿâëÿåòñÿ íåéðîñåòåâîé ëîãè÷åñêèé áàçèñ, êîòîðûé äîëæåí ìàêñèìàëüíî
ñîîòâåòñòâîâàòü ëîãè÷åñêîìó áàçèñó îñíîâíûõ ðåøàåìûõ çàäà÷.
Êàê ïðàâèëî, ýíòóçèàñòû ñóïåðâû÷èñëåíèé ðàññìàòðèâàþò äâå èõ
îñíîâíûå õàðàêòåðèñòèêè:
(cid:2) ÷èñëî ïðîöåññîðîâ, íàçûâàÿ ñîòíè òûñÿ÷, ìèëëèîíû, à èíîãäà
ìèëëèàðäû ïðîöåññîðîâ;
(cid:2) êîììóòàöèîííóþ ñðåäó èëè ñâÿçè ìåæäó ïðîöåññîðàìè.
Òå, êòî èìååò îïûò ðàçðàáîòêè ìíîãîìèêðîïðîöåññîðíûõ ñèñòåì ïîä
ïðîöåññîðîì ïîíèìàþò êàê ïðàâèëî íåêîòîðîå ïîäîáèå ñîâðåìåííîãî
Ââåäåíèå 9
ìèêðîïðîöåññîðà, à â êà÷åñòâå íà÷àëüíîãî âàðèàíòà êîììóòàöèîííîé ñðå-
äû – ñîâðåìåííûå êîììóòàöèîííûå ñðåäû ñóïåðêîìïüþòåðîâ.
Ñîõðàíåíèå èëè ñëàáàÿ ìîäèôèêàöèÿ àðõèòåêòóðû ïðîöåññîðíîãî ýëå-
ìåíòà áóäóùèõ ÑóïåðÝÂÌ, à òàêæå ïðèíÿòàÿ â íàñòîÿùåå âðåìÿ èäåîëî-
ãèè ïîñòðîåíèÿ êîììóòàöèîííîé ñðåäû âðÿä ëè ïðèâåäóò ê óñïåõó íà ïóòè
ïîñòðîåíèÿ áóäóùèõ ÑóïåðÝÂÌ. Àðõèòåêòóðà ïðîöåññîðíîãî ýëåìåíòà è,
êàê ñëåäñòâèå ñòðóêòóðà êîììóòàöèîííîé ñðåäû íàâåðíÿêà ïðåòåðïÿò ñå-
ðüåçíûå èçìåíåíèÿ.
Íåéðîêîìïüþòåðû ÿâëÿþòñÿ îäíèì èç âàðèàíòîâ ïîñòðîåíèÿ áóäóùèõ
ÑóïåðÝÂÌ, â êîòîðûõ:
(cid:2) ïðîöåññîðíûé ýëåìåíò óïðîùåí äî ïðîñòåéøåãî íåéðîíà èëè
ôðàãìåíòà íåéðîííîé ñåòè òîé èëè èíîé ñòðóêòóðû;
(cid:2) êîììóòàöèîííàÿ ñðåäà ðåàëèçóåò íåêîòîðóþ òîïîëîãèþ ñâÿçåé
ìåæäó íåéðîíàìè â ôðàãìåíòå íåéðîííîé ñðåäû è ñâÿçåé ìåæäó
äàííûìè ôðàãìåíòàìè.
Âñëåäñòâèå âåñüìà áîëüøîãî ÷èñëà ïðîöåññîðíûõ ýëåìåíòîâ â áóäóùèõ
ÑóïåðÝÂÌ è ÷èñòî òåõíîëîãè÷åñêèõ îãðàíè÷åíèé òîïîëîãèÿ ñâÿçåé ìåæäó
íåéðîíàìè áóäåò ñïåöèôè÷åñêîé äëÿ êàæäîé òåõíîëîãèè, íî ýòî íå áóäåò
ñóùåñòâåííûì îãðàíè÷åíèåì âñëåäñòâèå óíèâåðñàëüíîñòè ñîâðåìåííûõ
ìåòîäîâ íàñòðîéêè ìíîãîñëîéíûõ íåéðîííûõ ñåòåé äëÿ ðàçëè÷íûõ òîïî-
ëîãèé ñâÿçåé ìåæäó íåéðîíàìè.
Ãàëóøêèí À. È. Íåéðîííûå ñåòè: îñíîâû òåîðèè. Ì.: Èçä-âî «Ãîðÿ÷àÿ ëèíèÿ –
Òåëåêîì», 2010ã.
Galushkin A. I. Neural network theory // Springer, 2007.
Ãàëóøêèí À. È. Òåîðèÿ íåéðîííûõ ñåòåé. Ì.: Èçä-âî «Ðàäèîòåõíèêà», 2000.
Ãàëóøêèí À. È. Ñèíòåç ìíîãîñëîéíûõ íåéðîííûõ ñèñòåì ðàñïîçíàâàíèÿ îáðà-
çîâ. Ì.: Ýíåðãèÿ, 1974.
Ãàëóøêèí À. È. Ìíîãîñëîéíûå ñèñòåìû ðàñïîçíàâàíèÿ îáðàçîâ. Ì.: MÈÝÌ,
1970.
Íåéðîìàòåìàòèêà. Ò. 6 ñåðèè «Íåéðîêîìïüþòåðû è èõ ïðèìåíåíèå». Ì.: Èçä-âî
«Ðàäèîòåõíèêà», 2002 ã.
Ãàëóøêèí À. È. Íåéðîìàòåìàòèêà (ïðîáëåìû ðàçâèòèÿ) // Íåéðîêîìïüþòåð.
2003. ¹ 1.
Ãàëóøêèí À. È. Íåéðîêîìïüþòåðû. Ñåðèÿ «Íåéðîêîìïüþòåðû è èõ ïðèìåíå-
íèå», Êí. 3. Ì.: Èçä-âî «Ðàäèîòåõíèêà», 2000.
Àëÿóòäèíîâ Ì. À., Ãàëóøêèí À. È., Êàçàíöåâ Ï. À., Îñòàïåíêî Ã. Ï. Íåéðîêîì-
ïüþòåðû: îò ïðîãðàììíîé ê àïïàðàòíîé ðåàëèçàöèè. Ì.: Èçä-âî «Ãîðÿ÷àÿ ëèíèÿ –
Òåëåêîì», 2008 ã.
Ðàçäåë 1. ÍÅÊÎÒÎÐÛÅ ÂÎÏÐÎÑÛ
ÒÅÎÐÈÈ ÍÅÉÐÎÍÍÛÕ ÑÅÒÅÉ
 äàííîì ðàçäåëå ïðåäñòàâëåíû îïèñàíèÿ îòå÷åñòâåííûõ ðàáîò, êàñàþ-
ùèõñÿ òåîðèè íåéðîííûõ ñåòåé, â ÷àñòíîñòè:
– ôîðìàëüíûå ìîäåëè íåéðîíà;
– íåéðîííûå ñåòè ðàçëè÷íîé ñòðóêòóðû;
– ìíîãîçíà÷íûå íåéðîííûå ñåòè;
– êëåòî÷íûå íåéðîííûå ñåòè;
– âåðîÿòíîñòíûå íåéðîííûå ñåòè;
– íåéðîííûå ñåòè ñ ÷àñòîòíî-èìïóëüñíûì ïðåäñòàâëåíèåì ñèãíàëîâ;
– íåéðîñåòåâûå ìîäåëè ïàìÿòè;
– ïðîãðàììíûå ýìóëÿòîðû íåéðîñåòåâûõ àëãîðèòìîâ.
1.1. Íåéðîí
Êîëè÷åñòâî îòå÷åñòâåííûõ ðàáîò â ðàññìàòðèâàåìûé ïåðèîä âðåìåíè,
ïîñâÿùåííûõ ìîäåëÿì îòäåëüíîãî íåéðîíà, íå âåëèêî.
 îò÷åòå [1.1.1] îáúåêòîì èññëåäîâàíèÿ ÿâëÿëàñü îäèíî÷íàÿ íåðâíàÿ êëåò-
êà. Öåëü ðàáîòû: âûÿñíåíèå ìåõàíèçìîâ ïåðåðàáîòêè èíôîðìàöèè â íåéðîíå,
ðàçðàáîòêà ìàòåìàòè÷åñêèõ ìîäåëåé íåéðîíîïîäîáíûõ ýëåìåíòîâ.
Èñïîëüçîâàëñÿ êîìïëåêñ àïïàðàòóðû íà áàçå ÝÂÌ «Ýëåêòðîíèêà-60».
Áûëî ïîêàçàíî íàëè÷èå äîïîëíèòåëüíîãî ãåíåðàòîðíîãî ëîêóñà è åãî
ó÷àñòèå â êîäèðîâàíèè èíôîðìàöèè. Ñîçäàíà ìîäåëü ãèáðèäíîãî íåéðî-
íîïîäîáíîãî ýëåìåíòà. Îáëàñòü ïðèìåíåíèÿ: íåéðîêèáåðíåòèêà, íåéðî-
ôèçèîëîãèÿ.
 äèññåðòàöèîííîé ðàáîòå [1.1.2] ïîêàçàíî, ÷òî, âîçäåéñòâóÿ íà ñîñòîÿ-
íèå Na-êàíàëîâ, ìîæíî ìîäåëèðîâàòü èçìåíåíèå ïîðîãà ãåíåðàöèè, àìïëè-
òóäû è äëèòåëüíîñòè íåðâíîãî èìïóëüñà, íàáëþäàþùååñÿ ïðè âûðàáîòêå
êëåòî÷íûõ ôîðì îáó÷åíèÿ. Îáëàñòü ïðèìåíåíèÿ: áèîôèçèêà, íåéðîáèîëî-
ãèÿ. Ïîñòðîåíà ìîäåëü íåéðîíà, îáëàäàþùàÿ ñïîñîáíîñòüþ ñïåöèôè÷åñêè
ìîäèôèöèðîâàòü âîçáóäèìîñòü ïëàçìàòè÷åñêîé ìåìáðàíû ïðè âûðàáîòêå
êëåòî÷íûõ ôîðì îáó÷åíèÿ.