عنوان : ( Designing L-BFGS inspired automatic optimizer network )
نویسندگان: محمد اعتصام , اشکان صادقی لطف ابادی , سید کمال الدین غیاثی شیرازی ,بر اساس تصمیم نویسنده مقاله دسترسی به متن کامل برای اعضای غیر دانشگاه ممکن نیست
چکیده
امروزه علیرغم توسعه مدلهای یادگیری ماشین برای استخراج ویژگیها به صورت خودکار، هنوز الگوریتمهای بهینهسازی به صورت دستی طراحی میشوند. یکی از اهداف فرایادگیری (meta-learning)، خودکار کردن فرایند بهینهسازی است. الگوریتمهای بهینهسازی دستی مبتنی بر بردار گرادیان تنها براساس عملیات ضرب داخلی، ضرب اسکالر و جمع برداری بر روی بردارهای ورودی نوشته می شوند. بنابراین می توان گفت که این الگوریتمها در فضای هیلبرت بعد مساله بهینهسازی اجرا می شوند. ما نیز قصد داریم با ایده گرفتن از این مطلب، فضایی برای یادگیری ورودیها ایجاد کنیم که مستقل از ابعاد ورودی باشد. بدین منظور با ایده گرفتن از الگوریتم BFGS با حافظه محدود (L-BFGS) و همچنین سلول LSTM یک ساختار جدید با نام Hilbert LSTM (HLSTM) معرفی میکنیم که فرایند یادگیری در آن مستقل از ابعاد ورودی انجام میشود. به عبارتی الگوریتم یادگیری در فضای هیلبرت مساله بهینهسازی اجرا میشود. برای رسیدن به این هدف از لایه ضرایب خطی استفاده میکنیم که ترکیب خطی بردارهای ورودی را محاسبه میکند و ضرایب این ترکیب خطی، با کمک ضرب داخلی بردارهای ورودی بدست میآید. آزمایشهای ما نشان میدهند که نتایج بهدست آمده توسط بهینهساز ارائه شده، به مراتب بهتر از نتایج الگوریتمهای بهینهسازی دستی است.
کلمات کلیدی
, Hilbert LSTM, LSTM, L-BFGS, فرایادگیری, بهینهسازی خودکار@article{paperid:1100508,
author = {اعتصام, محمد and صادقی لطف ابادی, اشکان and غیاثی شیرازی, سید کمال الدین},
title = {Designing L-BFGS inspired automatic optimizer network},
journal = {پردازش علائم و داده ها- Signal and Data Processing},
year = {2024},
volume = {21},
number = {1},
month = {June},
issn = {2538-4201},
pages = {89--100},
numpages = {11},
keywords = {Hilbert LSTM، LSTM، L-BFGS، فرایادگیری، بهینهسازی خودکار},
}
%0 Journal Article
%T Designing L-BFGS inspired automatic optimizer network
%A اعتصام, محمد
%A صادقی لطف ابادی, اشکان
%A غیاثی شیرازی, سید کمال الدین
%J پردازش علائم و داده ها- Signal and Data Processing
%@ 2538-4201
%D 2024