Artificial Neural Networks that Grow When They Learn and Shrink When They Forget
Ethem Alpaydın, Boğaziçi Üniversitesi, Türkiye.
Last updated
Ethem Alpaydın, Boğaziçi Üniversitesi, Türkiye.
Last updated
Learning when limited to modification of some parameters has a limited scope: the capability to modify the system structure is also needed to get a wider range of the Iearnable. In the case of artificial neural networks, learning by iterative adjustment of synaptic weights can only succeed if the network designer predefines an appropriate network structure, i.e., number of hidden Iayers, units, and the size and shape of their receptive and projective fields. This paper advocates the view that the network structure should not, as usually done, be determined by trial-and-error but should be computed by the Iearning algorithm, Incremental learning algorithms can modify the network structure by addition and/or removal of units and/or Iinks. A survey of current connectionist literature is given on this line of thought. The reader is referred to (Alpaydın, 1991) for the author's own contribution to the field.
Eğer öğrenme sadece bazı parametrelerin değerlerini değiştirebilmek ise kullanım alanı kısıtlı kalır; öğrenilebileceklerin olabildiği kadar geniş olması için sistemin yapısının da değiştirilebilir olması gerekir. Yapay sinir ağlarında sadece bağlantı ağırlıklarının ayarlanabilmesi ile gerçekleşen öğrenmenin başarılı olabilmesi ancak ağ yapısının, yani saklı katman ve saklı ünite sayılan ve bunların önceki ve sonraki katmanlara bağlantı şeklinin, kullanım alanına uygun olması ile gerçekleşebilir. Bu tebliğ, ağ yapısının belirlenmesinin sıkça yapıldığı gibi deneme-yanılma ile değilde, yine öğrenme yordamının kendisi tarafından yapılması gerektiğini savunur. Bu tip yordamlarda ağ yapısı, örneğin hata geri yayma yordamında olduğu gibi durağan değildir; gerektiğinde yeni ünite ve bağlantılar eklenebilir veya olanlar çıkarılabilir. Bu tebliğ, bu konuda yapılmış çalışmaların bir özetini vermektedir; yazarın bu atana katkısı için, okuyucu (Alpaydın, 1991)'e başvurmaya davet edilir.
Bildirinin tamamını görüntülemek için aşağıdaki dosyayı indiriniz.