شبکه عصبی کوانتیزه برای چیست و چقدر اهمیت دارد

شبکه‌های عصبی کوانتیزه‌شده، برنامه‌های یادگیری ماشینی دقیق‌تری را در دستگاه‌هایی که قبلاً در حال فروش هستند، امکان‌پذیر می‌کنند

در ساده ترین شکل آن، یک شبکه عصبی به سادگی خود را به صورت یک سری لایه نشان می دهد. یک لایه ورودی، یک لایه خروجی و یک یا چند لایه پنهان بین این دو وجود دارد.

وقتی صحبت از آن می شود یادگیری عمیقبنابراین، منظور ما یک شبکه عصبی با بیش از سه سطح است: کلمه “عمیق” چندین سطح میانی را نشان می دهد.

هر سطح شامل گره ها و هر گره با یک یا چند گره در سطح پایین به هم مرتبط است. بنابراین، به طور خلاصه، اطلاعات از لایه ورودی وارد عصبی می شود، از لایه های پنهان عبور می کند و از یکی از گره های خروجی خارج می شود.

شبکه عصبی کوانتیزه و شبکه عصبی باینری چیست؟

برای تعیین نحوه انتقال اطلاعات در سراسر شبکه، توسعه‌دهندگان از وزن‌ها و بایاس‌ها استفاده می‌کنند، پارامترهایی در یک گره که بر روی داده‌ها هنگام حرکت در شبکه تأثیر می‌گذارند. وزن ها ضرایب هستند. هرچه وزن پیچیده‌تر باشد، شبکه دقیق‌تر است، اما از نظر محاسباتی فشرده‌تر می‌شود.

هر گره همچنین از یک تابع ماشه برای تعیین نحوه تبدیل مقدار ورودی استفاده می کند. بنابراین، برای بهبود کارایی، توسعه دهندگان می توانند از شبکه های عصبی کوانتیزه استفاده کنند که از وزن های دقیق کمتری استفاده می کنند.

آنجا شبکه عصبی کوانتیزه کارآمدتر این یک شبکه عصبی باینریزه (BNN) خواهد بود که تنها از دو مقدار به عنوان وزن و فعال سازی استفاده می کند: +1 و -1. در نتیجه، یک BNN به قدرت محاسباتی بسیار کمی نیاز دارد، اما از دقت کمتری نیز برخوردار است.

چرا شبکه های عصبی کوانتیزه عمیق مهم هستند؟

چالش صنعت این بود که راهی برای ساده سازی شبکه های عصبی برای انجام عملیات استنتاج بر روی میکروکنترلرها بدون کاهش دقت تا حدی که شبکه را بی استفاده می کند.

برای حل این مشکل، محققان ST ودانشگاه سالرنو، در ایتالیا، آنها روی شبکه های عصبی عمیق کوانتیزه شده کار کردند.

DQNN ها فقط از وزن های کوچک (1 بیت تا 8 بیت) استفاده می کنند و می توانند شامل ساختارهای ترکیبی با تنها برخی از سطوح باینریزه شوند در حالی که برخی دیگر از یک کوانتایزر ممیز شناور با عرض بیت بزرگتر استفاده می کنند. را مقاله تحقیقاتی ساخته شده توسط ST و محققان دانشگاه نشان دادند که کدام یک ساختار هیبریدی می تواند بهترین نتیجه را با دریافت کوچکترین رم و رام ارائه دهد.

نسخه جدید STM32Cube.AI نتیجه مستقیم این تلاش های تحقیقاتی است. در واقع نسخه 7.2 ST پشتیبانی می کند شبکه های عصبی عمیقا کوانتیزه شده سود بردن ازکارایی سطوح باینریزه شده بدون از بین بردندقت.

توسعه‌دهندگان می‌توانند از فریم‌ورک‌هایی از QKeras یا Larq استفاده کنند تا شبکه خود را قبل از پردازش از طریق X-CUBE-AI از قبل آموزش دهند.

تغییر به یک DQNN به صرفه جویی در مصرف حافظه کمک می کند، بنابراین مهندسان را قادر می سازد دستگاه های راحت تر را انتخاب کنید یا از یک میکروکنترلر برای کل سیستم به جای چندین جزء استفاده کنید. بنابراین STM32Cube.AI به ارائه قابلیت‌های استنتاج قدرتمندتر ادامه می‌دهد محاسبات لبه.

از یک برنامه دمو گرفته تا روندهای بازار

ایستادن اشنایدر الکتریک در یک برنامه شمارش افراد اخیر که از DQNN استفاده می‌کرد، همکاری کرد.

سیستم استنتاج را روی a انجام داد STM32H7 پردازش تصاویر حسگر حرارتی برای تعیین اینکه آیا افراد از یک خط خیالی عبور کرده‌اند یا خیر و در کدام جهت تصمیم می‌گیرند وارد یا خارج شوند.

انتخاب اجزاء قابل توجه است زیرا یکی را ارتقا داده است BOM نسبتا پایین. اشنایدر به جای تغییر به یک پردازنده گران تر، از یکی استفاده کرد شبکه عصبی کوانتیزه عمیق برای کاهش قابل توجه حافظه و استفاده از CPU، بنابراین ابعاد کلی کاهش می یابد استفاده و باز کردن درب به یک راه حل راحت تر.

هر دو شرکت نسخه ی نمایشی را در طول دوره ارائه کردند کنفرانس TinyML در مارس 2022 گذشته.

چگونه بر هیاهوی یادگیری ماشینی در حاشیه غلبه کنیم؟

ST اولین تولید کننده MCU بود که راه حلی مانند STM32Cube.AI ارائه کرد و عملکرد دستگاه ما همچنان از استاندارد بالایی برخوردار است. معیار MLCommons.

همانطور که این آخرین تغییر از یک مقاله دانشگاهی به یک نسخه نرم افزار نشان می دهد، منطق پشت عملکرد به دست آمده اولویتی است که به تحقیقاتی داده می شود که بر برنامه های کاربردی دنیای واقعی تأثیر می گذارد.

در مورد ساختن استهوش مصنوعی کاربردی و در دسترس است به جای رمز عبور را تحلیلگران بازار گارتنر آنها پیش بینی می کنند که شرکت هایی که بر روی هوش مصنوعی تعبیه شده کار می کنند به زودی دچار “سرخوردگی” خواهند شد.

اعلامیه اخیر و برنامه آزمایشی با اشنایدر نشان می دهد که به دلیل اولویتی که به تحقیق داده شده است، ST با قرار گرفتن در مرکز این شیب بر این شیب غلبه کرده است. کاربردهای عملی و بهینه سازی های متفکرانه.

کپی با ذکر منبع بلا مانع است : فراز اندیشه