tc selçuk üniversitesi fen bilimleri enstitüsü çok değişkenli lineer olmayan modellerde genetik ...

94 Pages·2009·0.58 MB·Turkish

T.C.

SELÇUK ÜNİVERSİTESİ

FEN BİLİMLERİ ENSTİTÜSÜ

ÇOK DEĞİŞKENLİ LİNEER OLMAYAN MODELLERDE

GENETİK ALGORİTMA

Aydın KARAKOCA

DOKTORA TEZİ

MATEMATİK ANABİLİM DALI

Bu tez 30/09/ 2009 tarihinde aşağıdaki jüri tarafından oybirliği ile kabul
edilmiştir.

Doç.Dr. Aşır GENÇ Prof.Dr. Fahrettin ASLAN Doç. Dr. Galip
OTURANÇ (Danışman)
(Üye) (Üye)

Doç. Dr. Coşkun KUŞ Yrd. Doç. Dr. Necati
TAŞKARA
(Üye) (Üye)
ÖZET
Doktora Tezi
ÇOK DEĞİŞKENLİ LİNEER OLMAYAN MODELLERDE
GENETİK ALGORİTMA
Aydın KARAKOCA
Selçuk Üniversitesi
Fen Bilimleri Enstitüsü
Matematik Anabilim Dalı

Danışman: Doç.Dr. Aşır GENÇ
2009, 86 Sayfa
Jüri: Doç. Dr. Aşır GENÇ
Prof. Dr. Fahrettin ARSLAN
Doç. Dr. Galip OTURANÇ
Doç. Dr. Coşkun KUŞ
Yrd. Doç. Dr. Necati TAŞKARA
Çok değişkenli lineer olmayan modeller birçok uygulamada bağımlı
değişken(ler) ile bağımsız değişken(ler) arasındaki ilişkiyi modellemek amacıyla
kullanılmaktadır. Lineer olmayan modellerin parametreleri En Küçük Kareler (EKK)
yöntemiyle tahmin edilebilmektedir. EKK yönteminde parametre tahmini için en çok
Gauss-Newton, Marquardt ve En Hızlı İniş algoritmaları kullanılmaktadır. Bu
algoritmaların kullanılabilmesi için bağımsız değişken(ler)in tepki fonksiyonunun en
az iki kez türevlenebilmesi şartı gerekmektedir. Ayrıca bu algoritmaların seçilecek
başlangıç noktasına göre çözüme ulaşamama riski vardır. Bu çalışmada çok değişkenli
lineer olmayan modellerde parametre tahmini için belirtilen algoritmalara alternatif
olarak bir genetik algoritma önerilmiştir. Çok değişkenli lineer olmayan modelde
önerilen genetik algoritma ve EKK yöntemiyle elde edilen parametre tahmin sonuçları
karşılaştırılmıştır.
Anahtar Kelimeler: Çok Değişkenli Lineer Olmayan Model, Genetik Algoritma,
Parametre Tahmini

i
ABSTRACT
PhD Thesis
GENETIC ALGORITHM IN MULTIVARIATE NONLINEAR MODELS

Aydın KARAKOCA

Selcuk University
Graduate School of Natural and Applied Sciences
Department of Mathematics

Supervisor: Assoc. Prof. Dr. Asır GENC
2009, 86 Page
Jury: Assoc.Prof.Dr. Aşır GENÇ
Assoc.Prof.Dr. Galip OTURANÇ
Prof. Dr. Fahrettin ARSLAN
Assoc.Prof.Dr. Coşkun KUŞ
Assist.Prof. Dr. Necati TAŞKARA
Multivariate non-linear models have been used for modelling functional
relationship between dependent and independent variable(s) in most of applications.
Parameters of multivariate non-linear models can be estimated by least squares (LS)
method. Gauss-Newton, Marquardt and Steepest Descent are most widely used
algorithms in LS method. These algorithms requires the condition that the function of
independent variables can be differentiable at least two times. Also these algorithms
have a risk of unreachable solution which depends according to the chosen starting
point. In this study as an alternative to these algorithms, genetic algorithms have
recommended for parameter estimation in multivariate non-linear models. And then
the parameter estimation results of multivariate nonlinear models that obtained by
least squares method and genetic algorithm were compared.

Key Words: Multivariate Non-Linear Model, Genetic Algorithm, Parameter
Estimation

ii
İÇİNDEKİLER
ÖZET.......................................................................................................................i
ABSTRACT...........................................................................................................ii
İÇİNDEKİLER.....................................................................................................iii
ŞEKİL VE ÇİZELGELER DİZİNİ.........................................................................v
SİMGELER VE KISALTMALAR.......................................................................vi
TEŞEKKÜR.........................................................................................................vii
1. GİRİŞ..................................................................................................................1
2. GENETİK ALGORİTMALAR.........................................................................9
2.1. Genetik Algoritma Terminolojisi..............................................................10
2.2. Genetik Algoritmaların Geleneksel Arama Metotlarından Farkı..............12
2.3. Genetik Algoritmaların Genel Yapısı........................................................13
2.4. Genetik Kodlama ve Uygunluk Fonksiyonu.............................................13
2.4.1. İkili Kodlama.....................................................................................15
2.4.2. Gray Kodlama ve Hamming Uzaklığı...............................................16
2.4.3. Gerçek Kodlama................................................................................18
2.5. Başlangıç Populasyonu..............................................................................18
2.6. Kopyalama ................................................................................................19
2.6.1. Rulet Çemberi Yöntemi....................................................................20
2.6.2. Turnuva Seçim Yöntemi....................................................................20
2.6.3. Sıralı Seçim Yöntemi.........................................................................21
2.6.4. Elitist Seçim Yöntemi........................................................................21
2.7. Çaprazlama................................................................................................22
2.7.1. Tek Nokta Çaprazlama......................................................................22
2.7.2. İki Nokta Çaprazlama........................................................................24
2.7.3. Düzgün Çaprazlama...........................................................................24
2.8. Mutasyon...................................................................................................25
2.9. Schema Teorisi ve Seçim Baskısı..............................................................26
iii
3.ÇOK DEĞİŞKENLİ LİNEER OLMAYAN MODELLER....................................28
3.1. Tek Değişkenli Lineer Olmayan Modelin Tanıtımı ve Bazı Gösterimler......29
3.2. Çok Değişkenli Lineer Olmayan Modelin Tanıtımı ve Bazı Gösterimler30
3.2.1. Denklemlere Göre Gruplanmış Gösterim..........................................32
3.2.2. Gözlemlere Göre Gruplanmış Gösterim............................................35
3.3. Tek Değişkenli Lineer Olmayan Modelde Parametre Tahmini................37
3.3.1. Başlangıç noktasının seçimi..............................................................40
3.3.2. Durdurma kuralı.................................................................................41
3.3.3. Gauss- Newton Yöntemi....................................................................41
3.3.4. En hızlı iniş yöntemi..........................................................................43
3.3.5. Marquardt yöntemi............................................................................45
3.4. Çok Değişkenli Lineer Olmayan Modelde Parametre Tahmini................48
3.4.1. En Küçük Kareler Tahmin Edicisi.....................................................48
4. ÇOK DEĞİŞKENLİ LİNEER OLMAYAN MODELDE GENETİK
ALGORİTMA İLE PARAMETRE TAHMİNİ.......................................................53
4.1. Tek Değişkenli Lineer Olmayan Genetik Algoritma (NLGA1)...............53
4.2. Çok Değişkenli Lineer Olmayan Genetik Algoritma (NLGA2)..............59
4.2.1. Jackknife Tahmini.............................................................................62
4.2.2. Bootstrap Tahmini.............................................................................63
5. SONUÇ..................................................................................................................69
6. KAYNAKLAR......................................................................................................71
Ek-1 NLGA1 program kodları...................................................................................74
Ek-2 NLGA2 program kodları...................................................................................80

iv
ŞEKİL VE ÇİZELGELER DİZİNİ
Şekil 2.2. Tek Nokta Çaprazlama
Şekil 2.3. Gerçek Kodlu GA’da Tek Nokta Çaprazlama
Şekil 2.4. İkili Kodlu GA’da Tek Nokta Çaprazlama
Şekil 2.5. Iki Nokta Çaprazlama
Şekil 2.6. Düzgün Çaprazlama
Şekil 2.7. Gerçek Kodlu GA’da mutasyon
Şekil 2.8. İkili Kodlu GA’da mutasyon
Şekil 3.1. Y vektörünün sütun uzayına dik izdüşümü
Çizelge 4.1. Örnek1 için üretilen değerler
Çizelge 4.2. Örnek1 verisi için parametre tahmin değerleri
Çizelge 4.3. Örnek 2 için parametre tahmin değerleri
Çizelge 4.4. Çok değişkenli model parametre tahmin sonuçları

v
SİMGELER VE KISALTMALAR
∂ : Kısmi türev operatörü
()
E ⋅ : Beklenen değer
∑ : Varyans-kovaryans matrisi
I : Birim matris
⊗ : Kroneker Çarpım
⋅ : Mutlak değer
⋅ : Norm
[ ]
⋅ : Tamdeğer
A : mxn boyutlu matris
m×n
A′ : A matrisinin transpozu (devriği)
m×n
A−1 : A matrisinin tersi
m×n
GA : Genetik Algoritma
EKK : En Küçük Kareler

vi
TEŞEKKÜR
Bu çalışmanın konusunun seçimini ve gerçekleşmesini sağlayan değerli hocam
Sayın Doç.Dr. Aşır GENÇ’e çalışmamda bana yardımcı olan Doç. Dr. Coşkun KUŞ,
Yrd.Doç.Dr. İsmail KINACI ve Tarık YILMAZ’a teşekkür eder, benden hiçbir
şekilde desteklerini esirgemeyen aileme ayrıca teşekkürü bir borç bilirim.
vii
1
1.GİRİŞ
Lineer olmayan modelde Y bağımlı değişken, X ,X ,…,X açıklayıcı
1 2 k
(bağımsız) değişkenler X =(X ,X ,…,X )' açıklayıcı değişkenlerin vektörü
1 2 k
θ=(θ,θ,…,θ )' (θ∈Θ⊂ Rp), bilinmeyen parametre vektörü ve e
1 2 p t
gözlenemeyen veya deneysel hata terimi olmak üzere e ’lerin bağımsız, aynı
t
dağılıma sahip, beklenen değerleri sıfır ve varyanslarının eşit olduğu
varsayılır. f , θ bilinmeyen parametre vektörünün bileşenlerinin en az birine göre
lineer olmayan bir fonksiyon olmak üzere lineer olmayan model,
Y = f(X;θ)+e , t =1,2,…,n (1.1)
t t
biçiminde ifade edilir. Burada f biçimsel olarak bilindiğinden,
n
Q(θ) = ∑(Y − f(X;θ))2 (1.2)
t
t=1
hata kareler toplamı minimum olacak şekilde θ parametre değerini belirlemek en
küçük kareler (EKK) yöntemine göre en iyi tepki fonksiyonunu bulmak demektir.
Q(θ)’yı minimum yapmak için kullanılan algoritmanın ismine bağlı olarak tahmin
yöntemi de aynı ismi almaktadır. Gauss-Newton algoritması(Gallant 1987),
Marquardt algoritması(Marquardt 1963) ve En hızlı iniş algoritması(Milliken 1988)
EKK yönteminde kullanılan başlıca algoritmalardır.
Eşitlik (1.2) ile verilen hata kareler toplamını θ’ya göre minimum yapacak
değeri bulmak amacıyla kullanılabilecek teknikler 1)Analitik, 2)Sayımlama ve
3)Rassal teknikler olarak üç ana sınıfta ayrılabilir.
Analitik teknikler dolaylı ve doğrudan analitik teknikler olarak iki alt sınıfa
ayrılabilir. Dolaylı analitik teknikler (1.2) eşitliğininθ’nın bileşenlerine göre kısmi
türevlerinin (gradyentinin) sıfıra eşitlendikten sonra elde edilen doğrusal olmayan
denklem sisteminin çözülmesiyle en iyi çözümü bulmayı amaçlar. Doğrusal modeller
söz konusu olduğunda dolaylı analitik teknikler kullanılarak en iyi çözümler
bulunabilir. Ancak doğrusal olmayan modeller söz konusu olduğunda (1.2)
2
eşitliğinin birinci kısmi türevi sonucunda elde edilen eşitlikler sisteminin çözülmesi
problem oluşturabilir. Bu nedenle doğrusal olmayan modeller söz konusu olduğunda
çeşitli iteratif teknikler kullanılır. Bu amaçla kullanılan iteratif teknikler doğrudan
analitik teknikler sınıfındandır(Goldberg 1989).
Yönlendirilmiş arama teknikleri olarak isimlendirilen bu teknikler belirli bir
noktadan başlayarak her bir iterasyonda bu nokta üzerinde gelişme sağlayarak başka
bir noktaya geçmeye dayalıdır. Kullanılacak başlangıç noktası araştırıcı tarafından
tanımlanır(Koç 2001). Ancak başlangıç noktasının seçimi çözümü doğrudan
etkilemektedir. Bu sebeple başlangıç noktasına göre çözümün duyarlılığı fazladır. Bu
teknikler gerçek çözümün uzak bir komşuluğunda seçilecek bir başlangıç noktasına
göre yerel bir en iyi noktasına takılma riskini bünyesinde barındırırlar.
Sayımlama Teknikleri çözüm uzayının tamamında veya kısıtlanmış bir
kısmındaki bütün noktaların amaç fonksiyonundaki değerlerinin test edilmesine
dayalıdır. Bu yöntemde sonlu çözüm uzayında veya kesikli sonsuz çözüm
uzaylarında iyi çözümler elde edilebilmektedir. Çözüm uzayı küçük olduğunda
sayımlama teknikleri ile iyi çözüm elde edilebilirken çözüm uzayının genişlemesi bu
yönteminin uygulanabilirliğini kısıtlamaktadır.
Analitik ve sayımlama tekniklerinin belirtilen eksiklikleri rasgele teknikleri
popüler hale getirmiştir. Rasgele teknikler de tümüyle rasgele ve rasgeleleştirilmiş
teknikler olarak iki alt sınıfa ayrılır. Tümüyle rasgele teknikler bir başlangıç
noktasından başlayarak her bir iterasyonda başka bir noktaya rasgele olarak geçerler
ve o ana kadar ki en iyi çözümü saklarlar. Çözüm uzayının geniş olduğu durumlarda
bu yöntemin performansının düşük olduğu bilinmektedir. Rasgeleleştirilmiş
teknikler, rasgele ve yönleştirilmiş tekniklerin birleştirilmesiyle oluşur. Genetik
algoritmalar rasgeleleştirilmiş teknikler sınıfında yer alır(Goldberg 1989).
Lineer olmayan modeller üzerindeki çalışmalar 1960’larda Marquardt(1963),
Hartley ve Booker(1963)’ın en küçük kareler yöntemi ile lineer olmayan modellerde
parametre tahmini için önerdikleri algoritmalar öncülüğünde gerçekleşmiştir. De
Bruin(1971), Gallant(1975) ile Seber ve Wild(1989) lineer olmayan modellerde
parametre tahmini ve hipotez testi üzerinde çalışmışlardır. Bard(1964),