Enhancing Accessibility for Visually Impaired Users through a Hybrid Real-Time Multi-Object Recognition System
Article Sidebar
Main Article Content
บทคัดย่อ
Visual impairment creates substantial challenges in performing object recognition tasks essential for independent living. Existing assistive vision systems typically rely on either classical computer vision techniques or deep learning models, limiting their robustness and practical applicability in real-world environments. To address these limitations, this study proposes a hybrid intelligent vision framework that integrates YOLOv8-based object detection for robust object localization, barcode recognition for reliable product verification, and ORB feature matching for fine-grained identification when barcode information is unavailable, thereby combining the complementary strengths of deep learning and classical computer vision. The dataset was designed to represent four common information-access tasks encountered by visually impaired individuals, including product labels, Thai banknotes, short shelf-life food products, and pharmaceutical items. An expanded dataset comprising 1,105 object classes and 7,927 images was constructed under diverse environmental conditions. The complete recognition pipeline was evaluated as an integrated mobile assistive system through both controlled and uncontrolled experiments to assess recognition accuracy, robustness, and the feasibility of practical deployment. Experimental results show that the proposed framework achieved 97.6% recognition accuracy, outperforming both the ORB–Barcode baseline (96.2%) and the standalone YOLOv8 model (97.0%), while maintaining near-real-time performance with an average processing time of 2.30 s per inference. User evaluation further demonstrated statistically significant improvements in task success rates among trained participants. The proposed framework improves recognition robustness while preserving computational efficiency on resource-constrained mobile devices, providing a practical, scalable, and user-validated assistive solution that enhances accessibility and supports independent living for visually impaired individuals.
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
นโยบายการรับบทความ
กองบรรณาธิการวารสารสถาบันเทคโนโลยีไทย-ญี่ปุ่น มีความยินดีรับบทความจากอาจารย์ประจำ และผู้ทรงคุณวุฒิในสาขาวิศวกรรมศาสตร์และเทคโนโลยี ที่เขียนเป็นภาษาไทยหรือภาษาอังกฤษ ซึ่งผลงานวิชาการที่ส่งมาขอตีพิมพ์ต้องไม่เคยเผยแพร่ในสิ่งพิมพ์อื่นใดมาก่อน และต้องไม่อยู่ในระหว่างการพิจารณาของวารสารอื่นที่นำส่ง ดังนั้นผู้สนใจที่จะร่วมเผยแพร่ผลงานและความรู้ที่ศึกษามาสามารถนำส่งบทความได้ที่กองบรรณาธิการเพื่อเสนอต่อคณะกรรมการกลั่นกรองบทความพิจารณาจัดพิมพ์ในวารสารต่อไป ทั้งนี้บทความที่สามารถเผยแพร่ได้ประกอบด้วยบทความวิจัย ผู้สนใจสามารถศึกษาและจัดเตรียมบทความจากคำแนะนำสำหรับผู้เขียนบทความ
การละเมิดลิขสิทธิ์ถือเป็นความรับผิดชอบของผู้ส่งบทความโดยตรง บทความที่ได้รับการตีพิมพ์ต้องผ่านการพิจารณากลั่นกรองคุณภาพจากผู้ทรงคุณวุฒิและได้รับความเห็นชอบจากกองบรรณาธิการ
ข้อความที่ปรากฏภายในบทความของแต่ละบทความที่ตีพิมพ์ในวารสารวิชาการเล่มนี้ เป็น ความคิดเห็นส่วนตัวของผู้เขียนแต่ละท่าน ไม่เกี่ยวข้องกับสถาบันเทคโนโลยีไทย-ญี่ปุ่น และคณาจารย์ท่านอื่น ๆ ในสถาบัน แต่อย่างใด ความรับผิดชอบด้านเนื้อหาและการตรวจร่างบทความแต่ละบทความเป็นของผู้เขียนแต่ละท่าน หากมีความผิดพลาดใด ๆ ผู้เขียนแต่ละท่านจะต้องรับผิดชอบบทความของตนเองแต่ผู้เดียว
กองบรรณาธิการขอสงวนสิทธิ์มิให้นำเนื้อหา ทัศนะ หรือข้อคิดเห็นใด ๆ ของบทความในวารสารสถาบันเทคโนโลยีไทย-ญี่ปุ่น ไปเผยแพร่ก่อนได้รับอนุญาตจากผู้นิพนธ์ อย่างเป็นลายลักษณ์อักษร ผลงานที่ได้รับการตีพิมพ์ถือเป็นลิขสิทธิ์ของวารสารสถาบันเทคโนโลยีไทย-ญี่ปุ่น
ผู้ประสงค์จะส่งบทความเพื่อตีพิมพ์ในวารสารวิชาการ สถาบันเทคโนโลยีไทย-ญี่ปุ่น สามารถส่ง Online ที่ https://www.tci-thaijo.org/index.php/TNIJournal/ โปรดสมัครสมาชิก (Register) โดยกรอกรายละเอียดให้ครบถ้วนหากต้องการสอบถามข้อมูลเพิ่มเติมที่
- กองบรรณาธิการ วารสารสถาบันเทคโนโลยีไทย-ญี่ปุ่น
- ฝ่ายวิจัยและนวัตกรรม สถาบันเทคโนโลยีไทย-ญี่ปุ่น
เลขที่ 1771/1 สถาบันเทคโนโลยีไทย-ญี่ปุ่น ซอยพัฒนาการ 37-39 ถนนพัฒนาการ แขวงสวนหลวง เขตสวนหลวง กรุงเทพมหานคร 10250 ติดต่อกับคุณพิมพ์รต พิพัฒนกุล (02) 763-2752 , คุณจุฑามาศ ประสพสันติ์ (02) 763-2600 Ext. 2402 Fax. (02) 763-2754 หรือ E-mail: JEDT@tni.ac.th
เอกสารอ้างอิง
World Health Organization, “World Report on Vision,” World Health Organization, Geneva, Switzerland, 2019. [Online]. Available: https://www.who.int/publications/i/item/9789241516570
S. Chapirom, C. Suttawet, J. Boonyarattanasoontorn, and D. Engstrom, “Realizing accessibility in Thailand: Make the right real, lifelong education, and decent work for persons with mobility disabilities,” J. Social Work Professions Council Thailand, vol. 1, no. 1, pp. 17–37, 2025.
Department of Empowerment of Persons with Disabilities, “Disability-inclusive employment and business project: Catalyzing disability-inclusive employment and business towards effective implementation of the Asian and Pacific decade of persons with disabilities, 2023–2032,” Ministry Social Develop. Human Secur., Bangkok, Thailand, Final Rep., Oct. 2025. [Online]. Available: https://dep.go.th/images/uploads/files/DIEBReportENFinal26122025.pdf
D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” Int. J. Comput. Vis., vol. 60, no. 2, pp. 91–110, 2004, doi: 10.1023/B:VISI.0000029664.99615.94.
H. Bay, T. Tuytelaars, and L. Van Gool, “SURF: Speeded up robust features,” in Proc. 9th Eur. Conf. Comput. Vis. (ECCV), Graz, Austria, May 2006, pp. 404–417, doi: 10.1007/11744023_32.
E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, “ORB: An efficient alternative to SIFT or SURF,” in Proc. Int. Conf. Comput. Vis. (ICCV), Barcelona, Spain, Nov. 2011, pp. 2564–2571, doi: 10.1109/ICCV.2011.6126544.
N. Jethjarurach and Y. Limpiyakorn, “Mobile product barcode reader for Thai blinds,” in Proc. Int. Conf. Inf. Sci. Appl. (ICISA), Seoul, South Korea, May 2014, pp. 1–4, doi: 10.1109/ICISA.2014.6847426.
W. P. Fernandcz, Y. Xian, and Y. Tian, “Image-based barcode detection and recognition to assist visually impaired persons,” in Proc. IEEE 7th Annu. Int. Conf. CYBER Technol. Autom. Control Intell. Syst. (CYBER), Honolulu, HI, USA, Jul. 2017, pp. 1241–1245, doi: 10.1109/CYBER.2017.8446388.
N. Pradhan, R. K. Tyagi, and P. Nagpal, “Barcode recognition techniques: Review & application,” Int. J. Innov. Res. Comput. Sci. Technol. (IJIRCST), vol. 9, no. 3, May 2021, pp. 37–42, doi: 10.21276/ijircst.2021.9.3.6.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You only look once: Unified, real-time object detection,” in Proc IEEE. Conf. Comput. Vis. Pattern Recognit. (CVPR), Las Vegas, NV, USA, Jun. 2016, pp. 779–788.
K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Las Vegas, NV, USA, Jun. 2016, pp. 770–778.
N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko, “End-to-end object detection with transformers,” in Proc. 16th Eur. Conf. Comput. Vis. (ECCV), Glasgow, U.K., Aug. 2020, pp. 213–229, doi: 10.1007/978-3-030-58452-8_13.
T. H. Munia and K. A. Taher, “Use of machine learning in object detection for visually impaired person,” in Proc. 4th Int. Conf. Intell. Technol. (CONIT), Bangalore, India, Jun. 2024, pp. 1–6, doi: 10.1109/CONIT61985.2024.10627544.
K. R. Aduri and P. V. Naganjaneyulu, “Advancements in computer vision-based assistive technologies for visually impaired,” in Proc. Int. Conf. Green Energy, Comput. Intell. Technol. (GEn-CITy), Iskandar Puteri, Malaysia, Mar. 2024, pp. 465–474, doi: 10.1049/icp.2025.0294.
A. Bhandari, P. W. C. Prasad, A. Alsadoon, and A. Maag, “Object detection and recognition: Using deep learning to assist the visually impaired,” Disability Rehabil.: Assistive Technol., vol. 16, no. 3, pp. 280–288, 2021, doi: 10.1080/17483107.2019.1673834.
K. Sreenivasulu, P. K. Rao, and V. Motupalli, “A comparative review on object detection system for visually impaired,” Turkish J. Comput. Math. Educ., vol. 12, no. 2, pp. 1598–1610, 2021.
N. Hongboonmee and K. Sangtan, “Development application for identify Thai banknote by voice for blindness via smartphone,” (in Thai), J. Inf. Sci. Technol., vol. 9, no. 2, pp. 24–34, Dec. 2019, doi: 10.14456/jist.2019.11.
H.-W. Ting, S.-L. Chung, C.-F. Chen, H.-Y. Chiu, and Y.-W. Hsieh, “A drug identification model developed using deep learning technologies: Experience of a medical center in Taiwan,” BMC Health Serv. Res., vol. 20, no. 1, 2020, Art. no. 312, doi: 10.1186/s12913-020-05166-w.
P. Joembunthanaphong, “An intelligent vision system for product label and banknote recognition for visually impaired assistance,” in Proc. 16th BENJAMIT Netw. Nat. Int. Conf., Bangkok, Thailand, Mar. 2026, pp. 559–583.
Bank of Thailand. “Current banknotes in circulation.” BOT.or.th. Accessed: Jun. 27, 2026. [Online]. Available: https://www.bot.or.th/en/our-roles/banknotes/History-and-Series-of-Banknote-And-Commemorative/current-series-of-banknotes.html
K. Endo, W. Ohyama, T. Wakabayashi, and F. Kimura, “Performance improvement of dot-matrix character recognition by variation model based learning,” in Proc. Asian Conf. Comput. Vis. (ACCV) Workshops, Singapore, Nov. 2015, pp. 138–151, doi: 10.1007/978-3-319-16631-5_11.
N. Anakpluek, W. Pasanta, L. Chantharasukha, P. Chokratansombat, P. Kanjanakaew, and T. Siriborvornratanakul, “Improved Tesseract optical character recognition performance on Thai document datasets,” Big Data Res., vol. 39, 2025, Art. no. 100508, doi: 10.1016/j.bdr.2025.100508.
P. Joembunthanaphong, “Attaining CMMI level 3 with agile development in small-medium firms,” in Innovation, Strategy, and Transformation Frameworks for the Modern Enterprise. Hershey, PA, USA: IGI Global, 2023, ch. 5, pp. 115–149, doi: 10.4018/979-8-3693-0458-7.ch005.
K. C. Laudon and J. P. Laudon, Management Information Systems: Managing the Digital Firm, 15th ed. Harlow, U.K.: Pearson, 2017.
C. Stephanidis, Ed., User Interfaces for All: Concepts, Methods, and Tools. Boca Raton, FL, USA: CRC Press, 2000.
B. Green and S. Seshadri, AngularJS. Sebastopol, CA, USA: O’Reilly Media, 2013.
K. Banker, P. Bakkum, S. Verch, D. Garrett, and T. Hawkins, MongoDB in Action, 2nd ed. Shelter Island, NY, USA: Manning, 2016.
R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed. Harlow, U.K.: Pearson, 2018.
M. Sokolova and G. Lapalme, “A systematic analysis of performance measures for classification tasks,” Inf. Process. Manage., vol. 45, no. 4, pp. 427–437, Jul. 2009, doi: 10.1016/j.ipm.2009.03.002.
