Development of a Machine Learning Model Using Stacking Techniques with Data Balancing Strategies for SME Credit Risk Assessment

Abstract

Small and Medium Enterprises (SMEs) often face challenges in obtaining credit due to their perceived high credit risk. This study aims to develop a deep learning model using the stacking ensemble technique to enhance the accuracy of credit risk assessment for SMEs. The research utilizes a dataset from the Ministry of Industry, consisting of 14 quantitative and qualitative variables. Due to data imbalance, four data balancing techniques are applied: Synthetic Minority Over-sampling Technique (SMOTE), Adaptive Synthetic Sampling (ADASYN), a combination of SMOTE and Edited Nearest Neighbors (SMOTE + ENN), and a combination of SMOTE and Tomek Links (SMOTE + Tomek). The study compares the performance of nine machine learning models: Decision Tree, Support Vector Machines (SVM), Gradient Boosting, K-Nearest Neighbors (KNN), Naïve Bayes, Logistic Regression with Meta-Learning, Gradient Boosting with Meta-Learning, Extreme Gradient Boosting with Meta-Learning, and Multi-layer Perceptron Neural Network with Meta-Learning. Model performance is evaluated based on Accuracy, Precision, Recall, F1-score, and Area Under the ROC Curve (AUCs). Results indicate that the stacking ensemble technique, particularly the Multi-layer Perceptron Neural Network with Meta-Learning, achieves the highest performance, with an F1-score of 0.953 and an AUCs of 0.990. Logistic Regression with Meta-Learning and Gradient Boosting with Meta-Learning also yield strong results, outperforming baseline models such as standard Gradient Boosting. Furthermore, applying Stepwise Feature Selection reduces the number of variables without compromising model performance. Overall, the combination of stacking ensemble models, data balancing techniques, and optimal feature selection significantly enhances the accuracy of credit risk assessment for SMEs. Through data balancing using the SMOTE + ENN technique, which yields superior performance compared to other methods.

วิสาหกิจขนาดกลางและขนาดย่อม (Small and Medium Enterprises: SMEs) มักเผชิญอุปสรรคในการขอสินเชื่อ เนื่องจากถูกมองว่ามีความเสี่ยงด้านเครดิตสูง งานวิจัยนี้มุ่งพัฒนาแบบจำลองการเรียนรู้เชิงลึกด้วยเทคนิคการรวมแบบจำลอง (Stacking) เพื่อเพิ่มประสิทธิภาพในการประเมินความเสี่ยงสินเชื่อของวิสาหกิจขนาดกลางและขนาดย่อม โดยใช้ชุดข้อมูลจากกระทรวงอุตสาหกรรม ซึ่งประกอบด้วยตัวแปรเชิงปริมาณและเชิงคุณภาพ รวม 14 ตัวแปร เนื่องจากข้อมูลมีความไม่สมดุล จึงใช้กลยุทธ์ปรับสมดุลข้อมูล 4 วิธี ได้แก่ เทคนิคการสุ่มตัวอย่างสังเคราะห์สำหรับกลุ่มตัวอย่างน้อย (Synthetic Minority Over-sampling Technique: SMOTE), เทคนิคการสุ่มตัวอย่างแบบปรับตัวเอง (Adaptive Synthetic Sampling: ADASYN), การรวมกันของการสุ่มตัวอย่างสังเคราะห์และเทคนิคการตัดตัวอย่างที่มีเสียงรบกวน (SMOTE and Edited Nearest Neighbors: SMOTE + ENN) และการรวมกันของการสุ่มตัวอย่างสังเคราะห์และการกำจัดตัวอย่างที่ซ้ำซ้อน (SMOTE and Tomek Links: SMOTE + Tomek) จากนั้นทำการเปรียบเทียบประสิทธิภาพของแบบจำลอง 9 วิธี ได้แก่ วิธีต้นไม้ตัดสินใจ (Decision Tree), วิธีซัพพอร์ตเวกเตอร์แมชชีน (Support Vector Machines), วิธีบูสต์ติงไล่ระดับ (Gradient Boosting), วิธีการจำแนกเพื่อนบ้านใกล้ที่สุด (K-Nearest Neighbors), วิธีการจำแนกแบบเบส์นาอีฟ (Naïve Bayes), วิธีเมตาการถดถอยลอจิสติก (Logistic Regression with Meta-Learning), วิธีเมตาบูสต์ติงไล่ระดับ (Gradient Boosting with Meta-Learning), วิธีเมตาบูสต์ติงไล่ระดับสุดขีด (Extreme Gradient Boosting with Meta-Learning) และวิธีเมตาโครงข่ายประสาทเทียมแบบหลายชั้น (Multi-layer Perceptron Neural Network with Meta-Learning) โดยวัดผลด้วยค่าความถูกต้อง (Accuracy), ค่าความแม่นยำ (Precision), ค่าความจำ (Recall), ค่ามาตราวัดเอฟ (F1-score) และตัววัดประสิทธิภาพโดยใช้พื้นที่ใต้กราฟ (Area Under an ROC Curve : AUCs) ผลการศึกษาพบว่า เทคนิคการรวมแบบจำลอง โดยเฉพาะแบบจำลองเมตาโครงข่ายประสาทเทียมแบบหลายชั้น (Multi-layer Perceptron Neural Network with Meta-Learning) ให้ประสิทธิภาพสูงสุด โดยมีค่ามาตราวัดเอฟ 0.953 และค่าพื้นที่ใต้กราฟเส้นโค้งลักษณะการทำงานของตัวจำแนกประเภท 0.990 ในขณะที่แบบจำลองวิธีเมตาการถดถอยลอจิสติก (Logistic Regression with Meta-Learning) และแบบจำลองเมตาบูสต์ติงไล่ระดับ (Gradient Boosting with Meta-Learning) ให้ผลลัพธ์รองลงมา เมื่อเทียบกับแบบจำลองพื้นฐาน เช่น แบบจำลองบูสต์ติงไล่ระดับ (Gradient Boosting) ซึ่งมีประสิทธิภาพต่ำกว่า นอกจากนี้ การใช้กระบวนการคัดเลือกตัวแปรแบบเป็นขั้นตอน (Stepwise Feature Selection) ช่วยลดจำนวนตัวแปรโดยไม่กระทบต่อประสิทธิภาพของแบบจำลอง เทคนิคการรวมแบบจำลอง ร่วมกับการปรับสมดุลข้อมูลและการเลือกตัวแปรที่เหมาะสม สามารถเพิ่มประสิทธิภาพในการประเมินความเสี่ยงสินเชื่อของวิสาหกิจขนาดกลางและขนาดย่อมได้อย่างมีนัยสำคัญ โดยการปรับสมดุลข้อมูลด้วยวิธี SMOTE + ENN ให้ผลลัพธ์ดีที่สุด