Nahıl AutoML
Göreve özel, uçtan uca otomatik yapay zekâ tasarım çerçevesi — teorik mimari ve bileşenler
Proje Bilgisi
- ✓Kategori: AutoML & Meta-Öğrenme
- ✓Kapsam: Ön işleme, mimari arama, aktivasyon & kayıp fonksiyonu tasarımı, ağırlık başlatma, hiperparametre optimizasyonu
- ✓Durum: Teorik çerçeve ve prototip bileşenler
Teorik Çerçeve
Nahıl AutoML, farklı görev ve veri koşullarında insan müdahalesi olmadan görev-özel makine öğrenmesi/derin öğrenme sistemlerini tasarlamayı hedefleyen üst seviye bir otomasyon mimarisidir. Yaklaşım; veri ön işlemeyi, mimari aramayı (NAS), aktivasyon ve kayıp fonksiyonu tasarımını, ağırlık başlatma stratejisi seçimini ve eğitim hiperparametrelerinin optimizasyonunu uçtan uca birleştirir. Bileşenler eşzamanlı ve etkileşimleri dikkate alınarak optimize edilir.
1) Veri Odaklı Tasarım Kararları
Giriş veri istatistikleri ve görev tipine göre ölçekleme, normalizasyon, sınıf dengesizliği giderme, veri artırma ve özellik seçimi adımları otomatikleştirilir. Bu veri odaklı kararlar sonraki aşamalara kısıt/öncelik olarak aktarılır.
2) Mimari Arama (NAS)
Arama uzayı; katman türleri, kanal sayıları, çekirdek boyutları, bağlantı örüntüleri ve düzenlileştirme seçenekleri gibi mimari bileşenleri kapsar. Gereksinime göre düşük maliyet, yüksek performans veya hibrit uygunluk fonksiyonları tanımlanır. Aday mimariler erken durdurmalı denemelerle değerlendirilir ve doğrulama setinde en başarılı olanlar seçilir.
3) Aktivasyon & Kayıp Tasarımı
Aktivasyon ve kayıp fonksiyonları, semantik farkındalıklı arama operatörleriyle keşfedilir veya mevcut fonksiyonlar parametreleştirilerek görev metriklerine uyarlanır. Seçimler; uç değer dayanıklılığı, gradyan istikrarı ve genellenebilirlik ölçütleriyle yönlendirilir.
4) Ağırlık Başlatma & Eğitim Hiperparametreleri
Başlatma stratejileri (He/Xavier varyantları, ölçek uyarlamaları) ve eğitim hiperparametreleri (epoch, learning rate, batch size vb.) ortak bir arama alanında optimize edilir. Amaç; hızlı yakınsama ve daha düşük kayıp yüzeylerinin keşfidir.
5) Birleşik Arama & Çok Amaçlı Optimizasyon
Bileşenler tek tek değil, etkileşimleriyle değerlendirilir. Doğruluk/F1, parametre sayısı, FLOPs, gecikme ve bellek gibi hedefler altında dağıtım kısıtlarına uygun adaylar seçilir; Pareto-optimal çözümler raporlanır.