Genelleştirilmiş Hebbian algoritması - Generalized Hebbian algorithm - Wikipedia

genelleştirilmiş Hebbian algoritması (GHA), literatürde olarak da bilinir Sanger'in kuralı, doğrusaldır ileri besleme sinir ağı modeli için denetimsiz öğrenme öncelikli olarak temel bileşenler Analizi. İlk olarak 1989 yılında tanımlanmıştır,[1] benzer Oja kuralı formülasyonu ve kararlılığı açısından, birden çok çıktıya sahip ağlara uygulanabilmesi dışında. İsim, algoritma ile bir hipotez arasındaki benzerlikten kaynaklanmaktadır. Donald Hebb[2] Beyindeki sinaptik güçlerin deneyime yanıt olarak değiştirilme şekli hakkında, yani değişiklikler sinaptik öncesi ve sonrası ateşleme arasındaki korelasyonla orantılıdır. nöronlar.[3]

Teori

GHA, Oja'nın kuralını Gram-Schmidt süreci formun bir öğrenme kuralı oluşturmak

,[4]

nerede wij tanımlar sinaptik ağırlık veya arasındaki bağlantı gücü jgiriş ve bençıkış nöronları, x ve y sırasıyla girdi ve çıktı vektörleridir ve η ... öğrenme oranı parametre.

Türetme

Matris formunda Oja kuralı yazılabilir

,

ve Gram-Schmidt algoritması

,

nerede w(t) herhangi bir matristir, bu durumda sinaptik ağırlıkları temsil eder, Q = η x xT otokorelasyon matrisi, sadece girdilerin dış çarpımıdır, tanılama işlevidir köşegenleştirir bir matris ve aşağı Tüm matris elemanlarını köşegenin üzerinde veya üstünde 0'a eşit olarak ayarlayan fonksiyondur. Orijinal kuralımızı matris biçiminde elde etmek için bu denklemleri birleştirebiliriz,

,

fonksiyon nerede LT tüm matris öğelerini köşegenin 0'a eşit olarak ayarlar ve çıktımızın y(t) = w(t) x(t) doğrusal bir nörondur.[1]

Kararlılık ve PCA

[5][6]

Başvurular

GHA, aşağıdaki uygulamalarda kullanılır: kendi kendini organize eden harita gerekli olduğunda veya bir özellik veya temel bileşenler Analizi kullanılabilir. Bu tür vakaların örnekleri şunları içerir: yapay zeka ve konuşma ve görüntü işleme.

Önemi, öğrenmenin tek katmanlı bir süreç olması gerçeğinden gelir - yani, sinaptik bir ağırlık, yalnızca o katmanın girdi ve çıktılarının yanıtına bağlı olarak değişir, böylece çok katmanlı bağımlılıktan kaçınır. geri yayılım algoritması. Aynı zamanda, öğrenme hızı ile yakınsama doğruluğu arasında basit ve öngörülebilir bir ödünleşime sahiptir. öğrenme oran parametresi η.[5]

Ayrıca bakınız

Referanslar

  1. ^ a b Sanger, Terence D. (1989). "Tek katmanlı doğrusal ileri beslemeli sinir ağında optimum denetimsiz öğrenme" (PDF). Nöral ağlar. 2 (6): 459–473. CiteSeerX  10.1.1.128.6893. doi:10.1016/0893-6080(89)90044-0. Alındı 2007-11-24.
  2. ^ Hebb, D.O. (1949). Davranış Organizasyonu. New York: Wiley & Sons. ISBN  9781135631918.
  3. ^ Hertz, John; Anders Krough; Richard G. Palmer (1991). Sinirsel Hesaplama Teorisine Giriş. Redwood City, CA: Addison-Wesley Yayıncılık Şirketi. ISBN  978-0201515602.
  4. ^ Gorrell, Genevieve (2006), "Doğal Dil İşlemede Artımlı Tekil Değer Ayrışımı için Genelleştirilmiş Hebbian Algoritma.", EACL, CiteSeerX  10.1.1.102.2084
  5. ^ a b Haykin, Simon (1998). Sinir Ağları: Kapsamlı Bir Temel (2 ed.). Prentice Hall. ISBN  978-0-13-273350-2.
  6. ^ Oja, Erkki (Kasım 1982). "Temel bileşen analizörü olarak basitleştirilmiş nöron modeli". Matematiksel Biyoloji Dergisi. 15 (3): 267–273. doi:10.1007 / BF00275687. PMID  7153672. S2CID  16577977. BF00275687.