ارزیابی رویکردهای مختلف هرس در میزان تحمل‌پذیری اشکال در شبکه‌های عصبی عمیق

مقالات آماده انتشار
نویسندگان
ستاره احصایی 1، 2
محسن راجی 3
بهنام قوامی 3
1 دانشکده مهندسی برق و کامپیوتر، دانشگاه شیراز، شیراز، ایران
2 دانشکده فنی و مهندسی، دانشگاه شهید باهنر کرمان، کرمان
3 دانشکده مهندسی برق و کامپیوتر، دانشگاه شیراز، شیراز، ایران, دانشکده فنی و مهندسی، دانشگاه شهید باهنر کرمان، کرمان
چکیده
افزایش اندازه مدل و تعداد پارامترها در شبکه‏‌های عصبی عمیق، از یک سو موجب پیشرفت‏‌های زیادی در عملکرد این شبکه‌‏ها شده و از سوی دیگر باعث بروز چالش­‌هایی از قبیل افزایش اندازه حافظه می­‌گردد. در هرس مدل، با حذف برخی پارامترهای شبکه، ضمن حفظ دقت مدل، اندازه آن کاهش داده می‏‌شود. با به‏‌کارگیری این شبکه‌‏ها در سیستم‌­های حساس-از-منظر-ایمنی، تاثیر هرس مدل که به طور سنتی با هدف کاهش اندازه شبکه استفاده می‌‏شود، بر تحمل‌‏پذیری اشکال شبکه‏‌ها مورد سوال جدی قرار گرفته است. در این مقاله، به کمک آزمایش‏‌های گسترده تزریق اشکال، تحلیل جامعی بر میزان تاثیر روش‏‌های مختلف هرس بر تحمل‏‌پذیری اشکال شبکه‌‏های عصبی عمیق ارائه می‏‌شود. مدل اشکال مورد مطالعه، خطاهای نرم واژگونی بیتی است که در حافظه ذخیره‌‏ساز وزن‏‌های شبکه رخ می‌‏دهد و باعث تغییر مقدار وزن‏‌های شبکه می‏‌گردد. با­توجه به نتایج به‌­دست­آمده از آزمایش‏‌های متنوع تزریق اشکال بر روی دو شبکه AlexNet و ResNet18 که به روش‏‌های مختلف هرس شده­اند، می‏‌توان نتیجه گرفت که به طور کلی، هرس کردن مدل باعث بهبود تحمل‌‏پذیری اشکال می‏‌شود و می‌‏توان از آن به منظور بهبود تحمل‌‏پذیری شبکه‌‏های عصبی عمیق هم بهره گرفت. از میان روش‌‏های مختلف هرس مدل، هرس وزنی بیشترین میزان بهبود تحمل‌‏پذیری اشکال را دارد.

کلیدواژه‌ها

  • [1] J. J. Zhang, K. Liu, F. Khalid, M. A. Hanif, S. Rehman, T. Theocharides, A. Artussi, M. Shafique and S. Garg, “Building Robust Machine Learning Systems: Current Progress, Research Challenges, and Opportunities," Proc. 56th ACM/IEEE Design Automat. Conf. (DAC), pp. 1-4, 2019.
  • [2] S. Mittal, “A survey on modeling and improving reliability of DNN algorithms and accelerators J. Syst. Architect., vol. 104, Mar. 2020.
  • [3] Y. Guan, H. Liang, N. Xu, W. Wang, S. Shi, X. Chen, G. Sun,W. Zhang and J. Cong "FP-DNN: An Automated Framework for Mapping Deep Neural Networks onto FPGAs with RTL-HLS Hybrid Templates," Proc. IEEE 25th Annu. Int. Symp. Field-Program. Custom Comput. Mach. (FCCM), pp. 152-159, Apr. 2017.
  • [4] W. Liu and C. Chang, "Analysis of Circuit Aging on Accuracy Degradation of Deep Neural Network Accelerator,” Proc. IEEE Int. Symp. Circuits Syst. (ISCAS), pp. 1-5, May 2019.
  • [5] S. S. Banerjee, J. Cyriac, S. Jha, Z. T. Kalbarczyk and R. K. Iyer, "Towards a Bayesian Approach for Assessing Fault Tolerance of Deep Neural Networks,” Proc. 49th Annu. IEEE/IFIP Int. Conf. Depend. Syst. Netw. Supplemental, Volume (DSN-S), pp. 25-26, 2019.
  • [6] B. F. Goldstein, S. Srinivasan, D. Das, “Reliability Evaluation of Compressed Deep Learning Models," Proc. IEEE 11th Latin Amer. Symp. Circuits Syst., pp. 1-5, 2020.
  • [7] A. Gebregirogis and M. Tahoori, “Approximate Learning and Fault-Tolerant Mapping for Energy-Efficient Neuromorphic Systems,” ACM Trans. Des. Autom. Electron. Syst. vol. 26, no. 3, pp. 1-23, 2020.
  • [8] J.-K. Kim, M.-Y. Lee, J.-Y. Kim, B.-J. Kim and J.-H. Lee, "An efficient pruning and weight sharing method for neural network", Proc. IEEE Int. Conf. Consum. Electron.-Asia (ICCE-Asia), pp. 49-50, Oct. 2016.
  • [9] S. Han, H. Mao, W. J. Dally, “Deep Compression: Compressing Deep Neural Network with Pruning, Trained Quantization and Huffman Coding.”, 2015, [online] Available: https://arxiv.org/abs/1510.00149.
  • [10] J. Frankle, G. K. Dziugaite, D. M. Roy and M. Carbin. “Pruning Neural Networks at Initialization: Why are We Missing the Mark?”, 2021, [online] Available: https://arxiv.org/abs/2009.08576.
  • [11] M. A. Hanif and M. Shafique, "Dependable Deep Learning: Towards Cost-Efficient Resilience of Deep Neural Network Accelerators against Soft Errors and Permanent Faults," Proc. IEEE 26th Int. Symp. Line Test. Robust Syst. Design (IOLTS), pp. 1-4, Jul. 2020.
  • [12] Y. Ibrahim, H. Wang, J. Liu, J. Wei, L. Chen, P. Rech, K. Adam, G. Guo,"Soft errors in DNN accelerators: A comprehensive review",Microelectron. Rel., vol. 115, Dec. 2020.
  • [13] I. S. Haque and V. S. Pande, "Hard data on soft errors: A large-scale assessment of real-world error rates in GPGPU", Proc. 10th IEEE/ACM Int. Conf. Cluster Cloud Grid Comput., pp. 691-696, May 2010.
  • [14] J. Kim and J. Yang, "DRIS-3: Deep Neural Network Reliability Improvement Scheme in 3D Die-Stacked Memory based on Fault Analysis," Proc. 56th ACM/IEEE Design Automat. Conf. (DAC), pp. 1-6, 2019.
  • [15] G. Yuan, Z. Liao, X. MA, Y. Cai, Z. Kong, X. Shen, J. Fu, Z. Li, C. Zhang, H. Peng, N. Liu, A. Ren, J. Wang and Y. Wang, “Improving dnn fault tolerance using weight pruning and differential crossbar mapping for reram-based edge ai,” Proc. 2021 22nd Int. Symp. Quality Electronic Design (ISQED), pp. 135-141.
  • [16] C. Y. Chen and K. Chakrabarty, “Pruning of Deep Neural Networks for Fault-Tolerant Memristor-based Accelerators,” Proc. 2021 58th ACM/IEEE Design Automation Conf., 2021.
  • [17] M. Sabbagh, C. Gongye, Y. Fei and Y. Wang, "Evaluating fault resiliency of compressed deep neural networks", Proc. IEEE Int. Conf. Embedded Softw. Syst. (ICESS), pp. 1-7, 2019.
  • [18] A. Gholami, S. Kim, Z. Dong, Z. Yao, M. W. Mahoney, and K. Keutzer, “A Survey of Quantization Methods for Efficient Neural Network Inference,” 2021, [online] Available: https://arxiv.org/abs/2103.13630.
  • [19] J. Liu, S. Tripathi, U. Kurup, M. Shah, and L. G. May, “Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications : A Survey,” 2020, [online] Available: https://arxiv.org/abs/2005.04275.
  • [20] Wang, Huan, Can Qin, Yulun Zhang and Yun Raymond Fu. “Neural Pruning via Growing Regularization.”, 2021, [online] Available: https://arxiv.org/abs/2012.09243.
علوم رایانش و فناوری اطلاعات

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از 08 آذر 1401