COMPLEX NEURAL COMPUTATION WITH SIMPLE DIGITAL NEURONS by Andrew Thomas Nere ...

185 Pages·2013·5.91 MB·English

COMPLEXNEURALCOMPUTATIONWITHSIMPLEDIGITALNEURONS
by
AndrewThomasNere
Adissertationsubmittedinpartialfulfillmentof
therequirementsforthedegreeof
DoctorofPhilosophy
(ElectricalEngineering)
atthe
UNIVERSITYOFWISCONSIN–MADISON
2013
©CopyrightbyAndrewThomasNere2013
AllRightsReserved
i
dedication
ii
acknowledgments
iii
table of contents
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
TableofContents
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix
ListofTables
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . x
ListofFigures
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Abstract
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1. Introduction
. . . . . . . . . . 1
1.1 Motivation: ChallengesFacedbythevonNeumannArchitecture
. . . . . . . . . . . . . . . . . . . 2
1.2 Inspiration: TheCortexasaComputingModel
. . . . . . . . . . . . . . . . 3
1.3 SpikingNeuronModelsandNeuromorphicHardware
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 ObjectivesandContributions
1.4.1 ComputingCapabilitiesofSimpleSpikingNeurons . . . . . . . . . . 4
1.4.2 IdentifyingUsefulComplexNeuronalDynamics . . . . . . . . . . . . 4
1.4.3 ModelingtheVisualCortexasaHierarchicalAttractorNetwork . . . 5
1.4.4 VisualCortexModelApplications . . . . . . . . . . . . . . . . . . . . 5
1.4.5 AddressingtheNeuromorphicSemanticGap . . . . . . . . . . . . . . 5
1.4.6 AutomaticApproachesforDeployingCorticalModelsonNeuromor-
phicSubstrates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 RelatedPublishedWork
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.6 DissertationStructure
iv
. . . . . . . . . . . . . . . . . . . 9
2. ArtificialNeuronModelsandNeuralNetworks
. . . . . . . . . . . . . . . . . . . . 9
2.1 ABriefHistoryofArtificialNeuralNetworks
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2 SpikingNeuronModels
2.2.1 TheHodgkin-HuxleyModel . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.2 TheIzhikevichModel . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.3 TheLeakyIntegrateandFireModel . . . . . . . . . . . . . . . . . . . 17
. . . . . . . . . . . . . . . . . . . . . 20
2.3 BiologicallyInspiredLearningMechanisms
2.3.1 HebbianLearning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2 SpikeTimingDependentPlasticity . . . . . . . . . . . . . . . . . . . . 21
2.3.3 VariantsofSTDP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.4 RewardBasedLearningParadigms . . . . . . . . . . . . . . . . . . . . 23
. . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.4 IntroductiontotheCerebralCortex
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.5 TheVisualCortex
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.6 RecurrentNeuralNetworks
2.6.1 TheHopfieldAttractorNeuralNetwork . . . . . . . . . . . . . . . . . 30
2.6.2 TransientandMetastableAttractorNetworks . . . . . . . . . . . . . . 32
2.6.3 LiquidStateMachines . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.6.4 RecurrentNeuralNetworksSummary . . . . . . . . . . . . . . . . . . 37
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.7 Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3. NeuromorphicHardware
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1 Neurogrid
v
. . . . . . . . . . . . . . . . . . . . . . 40
3.2 TheBrainScaleSNeuromorphicProcessor
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3 SpiNNaker
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.4 IBM’sNeurosynapticCore
3.4.1 WhyTargettheNeurosynapticCore? . . . . . . . . . . . . . . . . . . . 44
3.4.2 DescriptionandOperationoftheNeurosynapticCore . . . . . . . . . 46
3.4.3 TheNeurosynapticCorewithOnlineLearning . . . . . . . . . . . . . 50
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5 Summary
. 52
4. ModelingSpikingNeuronsandBiologicallyInspiredLearningMechanisms
. . . . . . . . . . . . . . . . . . . 52
4.1 LeakyIntegrate-and-FireSpikingNeuronModel
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.2 LearningwithBurstsofSpikes
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 ValueDependentLearning
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4 HomeostaticRenormalization
. . . . . . . . . . . . . . . . . . 59
4.5 PreliminarySpikingModeloftheVisualSystem
4.5.1 ShapeCategorizationModule . . . . . . . . . . . . . . . . . . . . . . . 59
4.5.2 MotionDetectionModule . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5.3 AttentionModule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.5.4 DecisionModuleandMotorOutputs . . . . . . . . . . . . . . . . . . 67
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
4.6 ExperimentalResults
4.6.1 Experiment1: ShapeCategorization . . . . . . . . . . . . . . . . . . . 68
4.6.2 Experiment2: CatchingTargetsandAvoidingObstacles . . . . . . . 69
vi
4.6.3 Experiment3: AnticipatingaTargetObjectLocationwithMultiple
Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.7 Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5. VisualCortexModel
. . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.1 ExtendingtheLLIFNeuronModel
5.1.1 Short-TermPlasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.1.2 NMDAModulatedSynapses . . . . . . . . . . . . . . . . . . . . . . . 76
. . . . . . . . . . . . . . 79
5.2 TheVisualCortexasaHierarchicalMetastableAttractor
5.2.1 HierarchicalOrganizationandtheFeedforwardPathways . . . . . . 79
5.2.2 LateralConnectionswithinModeledAreas . . . . . . . . . . . . . . . 82
5.2.3 InvariantObjectRecognitionThroughFeedforwardPathways . . . . 83
5.2.4 WhyAttractors? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.2.5 IntegrationandFeedbackPathways . . . . . . . . . . . . . . . . . . . 86
5.2.6 MetastabilityofaHierarchicalAttractor . . . . . . . . . . . . . . . . . 87
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.3 Summary
. . . . . . . . . . . . . . . . . . . . 93
6. AbilitiesofaHierarchicalAttractorNetwork
. . . . . . . . . . . . . . . . . . . . . . . 93
6.1 PatternCompletionandNoiseResilience
. . . . . . . . . . . . . . . . . . . . . . . . 95
6.2 ObjectOcclusions(WorkingMemory)
. . . . . . . . . . . . . . . . . . . 97
6.3 AccessandRoutinginaHierarchicalAttractor
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.4 Summary
vii
. . . . . . . . . . . . . . . . . . . . . . . 110
7. DeploymentonNeuromorphicSubstrate
. . . . . . . . . . . . . . . . . . . . . . . . . . . 110
7.1 TheNeuromorphicSemanticGap
7.1.1 EmulatingShort-TermPlasticity . . . . . . . . . . . . . . . . . . . . . . 112
7.1.2 EmulatingtheLongTimescaleEffectsofNMDA-MediatedSynapses 118
7.1.3 EmulatingtheVoltage-DependenceofNMDA-mediatedSynapses . . 120
7.1.4 EmulatingOnlineLearning . . . . . . . . . . . . . . . . . . . . . . . . 123
7.1.4.1 EmulatingHebbianLearning . . . . . . . . . . . . . . . . . . 124
7.1.4.2 EmulatingSTDPLearning . . . . . . . . . . . . . . . . . . . 124
7.1.4.3 ExtensionstoLearningAssemblies . . . . . . . . . . . . . . 128
. . . . . . . . . . . . . . 130
7.2 AutomatedApproachesforNeuralNetworkDeployment
7.2.1 TemplatesforNeuronalPopulations . . . . . . . . . . . . . . . . . . . 131
7.2.2 ConnectingPopulationsonDistributedCores . . . . . . . . . . . . . . 133
. . . . . . . . . . . . 138
7.3 DeployingtheVisualCortexModelonNeurosynapticCores
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.4 Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8. ConclusionandReflections
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
8.1 Summary
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.2 FutureWork
8.2.1 ExtendingtheVisualCortexModel . . . . . . . . . . . . . . . . . . . . 144
8.2.2 FormalizingLargeScaleHierarchicalAttractors . . . . . . . . . . . . 145
8.2.3 SequentialLearningBetweenAttractorStates . . . . . . . . . . . . . . 147
8.2.4 IdentifyingtheAppropriateNeuromorphicPrimitives . . . . . . . . 147
viii
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
8.3 Reflections
8.3.1 NeedforBetterNeuralProgramming . . . . . . . . . . . . . . . . . . 149
8.3.2 NeedforFlexibleNeuromorphicSubstrates . . . . . . . . . . . . . . . 151
8.3.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Bibliography