توسعه ساختار طبقه بندی کننده بیز ساده با هدف مدل سازی وابستگی متقابل شرطی ویژگی ها

نویسندگان
نیما شیری‌هرزویلی 1
ساسان حسینعلی‌زاده 2
1 دانش آموخته کارشناسی ارشد،مهندسی کامپیوتر،دانشکده مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه آزاد اسلامی، واحد قزوین، ایران
2 استادیار،مهندسی کامپیوتر ، پژوهشکده فناوری اطلاعات، پژوهشگاه ارتباطات و فناوری اطلاعات، تهران، ایران
چکیده
طبقه ­بندی کننده بیز ساده به دلیل کارایی بالا در پیش ­بینی و سادگی در ساخت مورد توجه محققین بسیاری قرارگرفته است. بنیان این طبقه ­بندی کننده بر اساس استقلال شرطی متغیر­ها (ویژگی ­ها) به شرط کلاس است. اگرچه، به دلیل وابستگی متقابل بین ویژگی ­ها این فرض در کاربرد­های واقعی این طبقه ­بندی کننده صادق نیست. از این رو، در این مقاله از مفهوم متغیرهای پنهان برای ارائه مدلی تحت عنوان "طبقه ­بندی کننده بیز ساده آمیخته با متغیر پنهان (MLNB)" به منظور کاهش فرض استقلال شرطی و مدل­ سازی ویژگی­ ها ارائه شده است. الگوریتم امید ریاضی- بیشینه (EM) به منظور تخمین پارامترهای مدل استفاده شده است. شبیه سازی­ها بر روی 7 مجموعه داده از مخزن یادگیری ماشین دانشگاه کالیفورنیا ایرواین نشانگر این است که روش پیشنهادی عملکرد قابل توجهی بر اساس صحت طبقه ­بندی، ناحیه زیر منحنی ROC و معیار F-measure در مقایسه با توسعه ­های اخیر بیز ساده دارد.

کلیدواژه‌ها

  • [1] R. T. Asmono, R. S. Wahono, and A. Syukur, "Absolute Correlation Weighted Naïve Bayes for Software Defect Prediction," Journal of Software Engineering, vol.1, no. 1, pp. 38-45, 2015.
  • [2] J. H. Friedman, "On bias, variance, 0/1—loss, and the curse-of-dimensionality," Data mining and knowledge discovery, vol. 1, no. 1, pp. 55-77, 1997.
  • [3] N. Friedman, D. Geiger, and M. Goldszmidt, "Bayesian network classifiers," Machine learning, vol. 29, no. (2-3), pp. 131-163, 1997.
  • [4] G. I. Webb, J. R. Boughton, and Z. Wang, "Not so naive Bayes: aggregating one-dependence estimators," Machine learning, vol. 58, no. 1, pp. 5-24, 2005.
  • [5] L. Jiang and H. Zhang, "Weightily averaged one-dependence estimators," in Pacific Rim International Conference on Artificial Intelligence, pp. 970-974,2006.
  • [6] G. Abaei and A. Selamat, "A survey on software fault detection based on different prediction approaches," Vietnam Journal of Computer Science, vol. 1, no. 2, pp. 79-95, 2014.
  • [7] K. Dejaeger, T. Verbraken, and B. Baesens, "Toward comprehensible software fault prediction models using bayesian network classifiers," IEEE Transactions on Software Engineering, vol. 39, no. 2, pp. 237-257, 2013.
  • [8] C. P. de Campos, G. Corani, M. Scanagatta, M. Cuccu, and M. Zaffalon, "Learning extended tree augmented naive structures," International Journal of Approximate Reasoning, vol. 68, pp. 153-163, 2016.
  • [9] A. P. Dempster, N. M. Laird, and D. B. Rubin, "Maximum likelihood from incomplete data via the EM algorithm," Journal of the royal statistical society. Series B (methodological), pp. 1-38, 1977.
  • [10] K. P. Murphy, "Naive bayes classifiers," University of British Columbia, 2006.
  • [11] L. Jiang, H. Zhang, and Z. Cai, "A novel Bayes model: Hidden naive Bayes," IEEE Transactions on Knowledge and Data Engineering, vol. 21, no. 10, pp. 1361-1371, 2009.
  • [12] L. Jiang, H. Zhang, Z. Cai, and J. Su, "Evolutional naive bayes," in Proceedings of the International Symposium on Intelligent Computation and its Application (ISICA), pp. 344-350, 2005.
  • [13] B. Turhan and A. B. Bener, "Software Defect Prediction: Heuristics for Weighted Naïve Bayes," in ICSOFT (SE), pp. 244-249, 2007.
  • [14] S. Taheri, J. Yearwood, M. Mammadov, and S. Seifollahi, "Attribute weighted Naive Bayes classifier using a local optimization," Neural Computing and Applications, vol. 24, no. 5, pp. 995-1002, 2014.
  • [15] H. Zhang and S. Sheng, "Learning weighted naive Bayes with accurate ranking," Fourth IEEE International Conference on Data Mining (ICDM"04), pp. 567-570, 2004.
  • [16] M. Hall, "A decision tree-based attribute weighting filter for naive Bayes," Knowledge-Based Systems, vol. 20, no. 2, pp. 120-126, 2007.
  • [17] E. Frank, M. Hall, and B. Pfahringer, "Locally weighted naive bayes," in Proceedings of the Nineteenth conference on Uncertainty in Artificial Intelligence, pp. 249-256, 2002.
  • [18] F. V. Jensen, An introduction to Bayesian networks. UCL press London, 1996.
  • [19] K. Bache and M. Lichman, "UCI machine learning repository," 2013.
  • [20] C. M. Bishop, Pattern recognition and Machine Learning, springer, 2006.
  • [21] H. Akaike, "Information theory and an extension of the maximum likelihood principle," in Selected Papers of Hirotugu Akaike, Springer, pp. 199-213, 1998.
  • [22] G. Schwarz, "Estimating the dimension of a model," The annals of statistics, vol. 6, no. 2, pp. 461-464, 1978.
  • [23] C. J. V. Rijsbergen, Information retrieval, Dept. of Computer Science, University of Glasgow, URL: citeseer.ist.psu.edu/vanrijsbergen79information.html, 1979.
  • [24] M. Hall, E. Frank, G. Holmes, B. Pfahringer, P. Reutemann, and L. Witten, "The WEKA Data Mining Software: An Update," ACM SIGKDD explorations newsletter, vol. 11, no. 1, pp. 10-18, 2009.
  • [25] D. J. Hand and R. J. Till, "A simple generalisation of the area under the ROC curve for multiple class classification problems," Machine learning, vol. 45, no. 2, pp. 171-186, 2001.
علوم رایانش و فناوری اطلاعات
دوره 17، شماره 1
بهار و تابستان
بهار 1398