APRENDIZAJE PROFUNDO PARA VISIÃfiN ARTIFICIAL

122 Pages·2017·6.72 MB·Spanish

APRENDIZAJE PROFUNDO
PARA VISIÓN ARTIFICIAL
MauricioDelbracio,JoséLezama,GuillermoCarbajal
InstitutodeIngenieríaEléctrica
FacultaddeIngeniería
UniversidaddelaRepública
2017
Agenda
1 Modeloslineales,generalización
2 RedesNeuronalesPrealimentadas(feedforward)
3 Neuronasartificiales
4 Teoremaaproximaciónuniversal
5 Capacidad,sobreajuste,subajuste
2/32
• wesnormalalafronteradeclasificación
• awseloconocecomovectordepesos(“weights” o“weightvector”)
vectornormalalafronteradedecisión
• abselellama“bias”(de-centrado,sesgo)
• Unclasificadorlinealnonecesitamemorizareltrainingdataset
(adiferenciadelclasificadork-nn)
• Cuántomáslejosdef(x)=0más“seguridad”enlaclasificación
(f(x)unaespeciede“score”)
Clasificadores Lineales
Un clasificador lineal tiene la forma:
f(x) = wTx + b
3/32
• Unclasificadorlinealnonecesitamemorizareltrainingdataset
(adiferenciadelclasificadork-nn)
• Cuántomáslejosdef(x)=0más“seguridad”enlaclasificación
(f(x)unaespeciede“score”)
Clasificadores Lineales
Un clasificador lineal tiene la forma:
f(x) = wTx + b
• wesnormalalafronteradeclasificación
• awseloconocecomovectordepesos(“weights” o“weightvector”)
vectornormalalafronteradedecisión
• abselellama“bias”(de-centrado,sesgo)
3/32
• Cuántomáslejosdef(x)=0más“seguridad”enlaclasificación
(f(x)unaespeciede“score”)
Clasificadores Lineales
Un clasificador lineal tiene la forma:
f(x) = wTx + b
• wesnormalalafronteradeclasificación
• awseloconocecomovectordepesos(“weights” o“weightvector”)
vectornormalalafronteradedecisión
• abselellama“bias”(de-centrado,sesgo)
• Unclasificadorlinealnonecesitamemorizareltrainingdataset
(adiferenciadelclasificadork-nn)
3/32
Clasificadores Lineales
Un clasificador lineal tiene la forma:
f(x) = wTx + b
• wesnormalalafronteradeclasificación
• awseloconocecomovectordepesos(“weights” o“weightvector”)
vectornormalalafronteradedecisión
• abselellama“bias”(de-centrado,sesgo)
• Unclasificadorlinealnonecesitamemorizareltrainingdataset
(adiferenciadelclasificadork-nn)
• Cuántomáslejosdef(x)=0más“seguridad”enlaclasificación
(f(x)unaespeciede“score”)
3/32
• En general: datos no son linealmente separables...
Clasificadores Lineales
• Dadoundataset(x,y),i=1,...,n,cony ∈{1,...,c}
i i i
• Supongamosquetenemospuntajesdelaforma: s=Wx
• Vimosdosmanerasdedefinirunafuncióndeajuste(loss):
SVM(hinge) Softmax(logisticregression)
(cid:88) (cid:32) (cid:33)
Li = j(cid:54)=yimax(0,sj−syi +1) Li =−log (cid:80)ejsyeisj
4/32
• En general: datos no son linealmente separables...
Clasificadores Lineales
• Dadoundataset(x,y),i=1,...,n,cony ∈{1,...,c}
i i i
• Supongamosquetenemospuntajesdelaforma: s=Wx
• Vimosdosmanerasdedefinirunafuncióndeajuste(loss):
SVM(hinge) Softmax(logisticregression)
(cid:88) (cid:32) (cid:33)
Li = j(cid:54)=yimax(0,sj−syi +1) Li =−log (cid:80)ejsyeisj
• Enamboscasos,hayqueminimizarL(W)(+regularización)
n
(cid:88)
L(W)= L(W)+λR(W)
i
i=1
4/32
• En general: datos no son linealmente separables...
Clasificadores Lineales
• Dadoundataset(x,y),i=1,...,n,cony ∈{1,...,c}
i i i
• Supongamosquetenemospuntajesdelaforma: s=Wx
• Vimosdosmanerasdedefinirunafuncióndeajuste(loss):
SVM(hinge) Softmax(logisticregression)
(cid:88) (cid:32) (cid:33)
Li = j(cid:54)=yimax(0,sj−syi +1) Li =−log (cid:80)ejsyeisj
• Enamboscasos,hayqueminimizarL(W)(+regularización)
n
(cid:88)
L(W)= L(W)+λR(W)
i
i=1
• Descensoporgradiente:
n
(cid:88)
∇ L(W)= ∇ L(x,y;W)+λ∇ R(W).
W W i i i W
i=1
4/32
• En general: datos no son linealmente separables...
Clasificadores Lineales
• Dadoundataset(x,y),i=1,...,n,cony ∈{1,...,c}
i i i
• Supongamosquetenemospuntajesdelaforma: s=Wx
• Vimosdosmanerasdedefinirunafuncióndeajuste(loss):
SVM(hinge) Softmax(logisticregression)
(cid:88) (cid:32) (cid:33)
Li = j(cid:54)=yimax(0,sj−syi +1) Li =−log (cid:80)ejsyeisj
• Enamboscasos,hayqueminimizarL(W)(+regularización)
n
(cid:88)
L(W)= L(W)+λR(W)
i
i=1
• Descensoporgradienteestocástico,n (cid:28)n:
mb
(cid:88)nmb
∇ L(W)≈ ∇ L(x,y;W)+λ∇ R(W).
W W i i i W
i=1
4/32