استفاده از هموارکننده ی L1/2 در یادگیری گرادیانی شبکه‌های عصبی خود سازمانده
محورهای موضوعی : مجله فناوری اطلاعات در طراحی مهندسیزهرا مهرآوران 1 , سید جواد سید مهدوی 2 , یحیی فرقانی 3
1 - دانشجو واحد دانشگاه آزاد اسلامی واحد مشهد گروه کامپیوتر
2 - دانشگاه آزاد اسلامی واحد مشهد گروه مهندسی برق
3 - دانشگاه آزاد اسلامی، واحد مشهد، مشهد، ایران
کلید واژه: الگوریتم Batch gradient, تابع هموارکننده, رگولاریزیشن L1/2, شبکه‌ی عصبی خودسازمانده,
چکیده مقاله :
یکی از مهمترین معیار ها در آموزش شبکه های عصبی، سرعت همگرایی است. تحقق این معیار وابسته به آموزش مطلوب پارامترها و تعیین اندازه ی مناسب برای شبکه است اما مقالاتی که تاکنون بکار رفته اند بر روی یکی از این عوامل تمرکز داشته اند. به منظور تعیین اندازه ی مطلوب یک شبکه با توجه به پیچیدگی مساله از شبکه های عصبی خودسازمانده استفاده می کنیم. چالشی که در این شبکه ها دیده می شود سرعت همگرایی نسبتاً پایین آن ها است، درنتیجه برای بهبود سرعت همگرایی آموزش شبکه از الگوریتم Batch gradient(Bg) به همراه رگولاریزیشن L1/2 که توسط یک تابع هموارکننده، هموار شده است، استفاده می نماییم تا بدین ترتیب درکنار دو فرایند افزایشی و کاهشی اندازه شبکه، پارامترها به خوبی آموزش ببینند و سرعت همگرایی بهبود یابد. نتایج حاصل از پیاده سازی و مقایسه ی روش حاضر با روش های پایه، از نظر معیارهای سرعت همگرایی و صحت کلاس بندی داده های تست، نشان از برتری روش پیشنهادی در بهبود صحت و بهبود سرعت همگرایی را می دهد