วิธีการฝึกสอนโครงข่ายประสาทเทียมแบบป้อนผลการคำนวณไปข้างหน้า โดยใช้หลักการสหสัมพันธ์ไขว้น้อยสุด

Abstract

บทความนี้นำเสนอวิธีการประยุกต์ใช้หลักการสหสัมพันธ์ไขว้น้อยสุดในการฝึกสอนโครงข่ายประสาทเทียมแบบป้อนผลการคำนวณไปข้างหน้า ในการฝึกสอนนั้นใช้หลักการ การรบกวนค่าน้ำหนัก โดยกำหนดให้ค่าการรบกวนค่าน้ำหนัก มีลักษณะการกระจายของตัวแปรสุ่มแบบเกาซ์เซี่ยน ทำการปรับค่าน้ำหนักและหาจุดเหมาะสมของค่าน้ำหนักในโครงข่ายโดยประยุกต์ใช้หลักการสหสัมพันธ์ไขว้น้อยสุดระหว่างผลต่างค่าความผิดพลาดกำลังสองกับค่าการรบกวน เราเรียกวิธีการที่เสนอนี้ว่า LCC อัลกอริทึม และได้ทำการทดสอบกับการฝึกสอนให้โครงข่าย สามารถทำงานเป็นฟังก์ชั่น เอ็กสคูลสีฟออร์  และ สามบิตพาริที่ พบว่า วิธีการที่เสนอสามารถใช้ฝึกสอนโครงข่าย  เมื่อจำนวนชั้นโครงข่ายมีไม่เกินสี่ชั้น จำนวนเปอร์เซ็นผลการฝึกที่ประสบผลสำเร็จ นั้นมากกว่าอัลกอริทึมฝึกสอนโครงข่ายประสาทเทียมที่รู้จักกันโดยทั่วไป แต่เปอร์เซ็นผลการฝึกที่ประสบผลสำเร็จนั้นเป็นรอง อัลกอริทึม ลาเวนเบิร์กมาร์ควอต แต่ทั้งนี้ผลของคำตอบ ณ จุดที่ไม่มีข้อมูลฝึกสอน วิธีการประยุกต์ใช้หลักการสหสัมพันธ์ไขว้น้อยสุด จะให้ผลของคำตอบจากการฝึกสอนที่สำเร็จในแต่ละครั้งของการฝึกสอนที่มีค่าใกล้เคียงกัน และแนวโน้มของคำตอบไปในทิศทางเดียวกัน มากกว่า การใช้อัลกอริทึม ลาเวนเบิร์กมาร์ควอต   ซึ่งการได้คำตอบไปในทิศทางเดียวกันนั้น เป็นคุณสมบัติที่ดี ที่ต้องการ เมื่อต้องการนำโครงข่ายประสาทเทียมมาประยุกต์ใช้กับระบบที่ต้องการการทำนาย คำตอบที่อยู่ ณ จุดที่ไม่มีข้อมูลฝึกสอน   อีกทั้งวีธีการฝึกสอนที่เสนอนี้ใช้ทรัพยากรหน่วยความจำในการประมวลผลน้อยมากเมื่อเทียบกับวิธีการอื่นๆที่มีมาก่อน

AN ALGORITHM FOR TRAININGTHE ARTIFICIAL FEEDFORWARD NEURAL NETWORKS USINGTHE LEAST CROSS-CORRELATION PRINCIPLE 

This paper proposes an algorithm for training the artificial feedforward neural networks (ANN).  The least cross-correlation (LCC) principle is applied for optimizing the weights of the neural networks.  The weights of the network are perturbed with the Gaussian distribution random vectors. The cross-correlation matrix between squared-error difference and the perturbation vector is used for weight adjustment. The Exclusive-Or and 3 Bit Parity problems are selected for a primary evaluation of the algorithm. The results show that the LCC can outperform the most of well-known algorithms but it is inferior to the Levenberg-Marquartd algorithm (LM) for the case of training success which the networks are having 2 to 4 layers.  The consistency and generalization properties of the LCC trained networks are much better than that of the LM trained ones.  Although they are trained with different initial conditions, the LCC trained networks still produce similar output values when the input vectors are not in the training set. The LCC algorithm can be a promised one for the application of ANN on VLSI circuits including the small memory microcontrollers because it uses very little memory resource in the order of kilobytes.