การพัฒนาระบบตรวจจับและแปลงภาษามือไทยเป็นภาษาไทย โดยใช้การเรียนรู้เชิงลึก
Article Sidebar
Main Article Content
บทคัดย่อ
สำหรับผู้บกพร่องทางการได้ยินและการพูดจะสามารถสื่อสารได้โดยการใช้ภาษามือแทนคำพูด ทำให้เป็นอุปสรรคต่อการสื่อสารกับผู้คนทั่วไป เพื่อช่วยให้ผู้บกพร่องทางการได้ยินและการพูดสามารถสื่อสารกับผู้คนทั่วไปได้ บทความนี้นำเสนอการพัฒนาระบบตรวจจับและแปลงภาษามือไทยเป็นภาษาไทยโดยใช้การเรียนรู้เชิงลึก โดยรับข้อมูลเข้าเป็นจุดสำคัญ (Keypoints) ของมือ ใบหน้า และท่าทาง ใช้ MediaPipe Framework ในการตรวจจับจุดสำคัญ รวบรวมข้อมูลจากวิดีโอที่เป็นท่าทางภาษามือไทยนำมาสกัดหาพิกัดของจุดสำคัญ แล้วแบ่งชุดข้อมูลสำหรับการฝึก (Train set) 80 % ชุดข้อมูลทดสอบ (Test set) 20 % นำข้อมูลมาฝึกฝนโมเดลโดยใช้อัลกอริทึมโครงข่ายประสาทเทียมหน่วยความจำระยะสั้นยาวแบบสองทาง(BiLSTM) ในการวิเคราะห์ท่าทาง ปรับเปลี่ยนชั้น (layer) ของโมเดลและทดลองการปรับเปลี่ยนค่าของพารามิเตอร์ต่างๆ พบว่าโมเดลที่มีการเพิ่มโหนด (node) และปรับเปลี่ยนชั้น (layer) ทำให้โมเดลสามารถป้องกันการเกิดปัญหา Underfitting และมีพารามิเตอร์ที่ใช้ในการเรียนรู้เพิ่มขึ้น ได้ค่าความถูกต้อง คือ 0.83 หลังจากได้ผลลัพธ์เป็นคำไทย จะนำมาแสดงผลในแอปพลิเคชันมือถือที่พัฒนาด้วย Flutter Framework ซึ่งเชื่อมต่อการทำงานระหว่างโมเดลและแอปพลิเคชันด้วย API ที่พัฒนาด้วย Flask API
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
เอกสารอ้างอิง
Abdul, W., Alsulaiman, M., Amin, S.U., Faisal, M., Muhammad, G., Albogamy, F.R., Bencherif, M.A. and Ghaleb, H. (2021). Intelligent real-time Arabic sign language classification using attention-based inception and BiLSTM. Computers and Electrical Engineering 95: 107 - 395. doi: 10.1016/j.compeleceng.2021.107395.
Bora, J., Dehingia, S., Boruah, A., Chetia, A.A. and Gogoi, D. (2023). Real-time Assamese Sign Language Recognition using MediaPipe and Deep Learning. Procedia Computer Science 218: 1384 - 1393. doi: 10.1016/j.procs.2023.01.117.
Chaikaew, A., Somkuan, K. and Yuyen, T. (2021). Thai Sign Language Recognition: an Application of Deep Neural Network. In: 2021 Joint International Conference on Digital Arts, Media and Technology with ECTI Northern Section Conference on Electrical, Electronics, Computer and Telecommunication Engineering. IEEE, Cha-am. 128 - 131. doi: 10.1109/ECTIDAMTNCON51128.2021.9425711.
Chumchim, P. and Maneerat, P. (2020). Application development of sign language translation systems for the hearing-impaired people. PKRU SciTech Journal 4(1): 22 - 32.
Halder, A. and Tayade, A. (2021). Real-time Vernacular Sign Language Recognition using MediaPipe and Machine Learning. International Journal of Research Publication and Reviews 2(5): 9 - 17.
Obi, Y., Claudio, K.S., Budiman, V.M., Achmad, S. and Kurniawan, A. (2023). Sign language recognition system for communicating to people with disabilities. Procedia Computer Science 216: 13 - 20. doi: 10.10 16/j.procs.2022.12.106.
Promrit, N. and Waijanya, S. (2019). Model for Practice Badminton Basic Skills by using Motion Posture Detection from Video Posture Embedding and One-Shot Learning Technique. In: Proceedings of the 2019 2nd Artificial Intelligence and CloudComputing Conference. Kobe, Japan. 117 – 124. doi: 10.1145/3375959.3375981.
Venugopalan, A. and Reghunadhan, R. (2021). Applying deep neural networks for the automatic recognition of sign language words: A communication aid to deaf agriculturists. Expert Systems with Applications 185: 115601. doi: 10.1016/j.eswa.2021.115601.
Sundar, B. and Bagyammal, T. (2022). American Sign Language Recognition for Alphabets Using MediaPipe and LSTM. Procedia Computer Science 215: 642 - 651. doi: 10.1016/j.procs.2022.12.066.
Zhang, Y., Min, Y. and Chen, X. (2021). Teaching Chinese Sign Language with a Smartphone. Virtual Reality & Intelligent Hardware 3(3): 248 - 260. doi: 10.1016/j.vrih.2021.05.004.
