Luận văn Nghiên cứu ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu
Luận văn
Nghiên cứu ứng dụng
mạng nơron Elman nhận
dạng vị trí rôbôt hai khâu
LỜI CAM ĐOAN
Tôi xin cam đoan luận văn này là công trình do tôi tổng hợp và nghiên cứu.
Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài
liệu tham khảo.
Tác giả luận văn
Nguyễn Việt Hùng
LỜI NÓI ĐẦU
Trong hệ thống điều khiển hiện đại, có rất nhiều phương pháp điều khiển
đảm bảo được tốt chất lượng điều khiển. Trong điều khiển tự động, để điều khiển
chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta phải hiểu rõ đối
tượng đó. Đặc biệt đối với các đối tượng phi tuyến ta cần nhận dạng được đặc tính
vào-ra của nó để đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính
xác hơn. Ngày nay trên thế giới người ta dựa vào cấu trúc mạng nơron sinh vật để
làm mạng nơron nhân tạo áp dụng vào các ngành khoa học kỹ thuật. Mạng nơron
được ứng dụng ở nhiều lĩnh vực. Mong muốn của chúng ta là nhân tạo hóa các thiết
bị, đặc biệt trong lĩnh vực máy tính, điều khiển và rôbôt vận dụng những đặc tính
trội của nơron thần kinh.
Trong thời gian của khoá học cao học, chuyên ngành Tự động hoá tại trường
Đại học Kỹ thuật Công nghiệp Thái Nguyên, được sự tạo điều kiện giúp đỡ của nhà
trường và Tiến sĩ Phạm Hữu Đức Dục em đã lựa chọn đề tài của mình là:
“Nghiên cứu ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu”.
Trong quá trình thực hiện đề tài, được sự hướng dẫn nhiệt tình của Tiến sĩ
Phạm Hữu Đức Dục, sự giúp đỡ của bạn bè cùng với sự nỗ lực, cố gắng của bản
thân đến nay bản luận văn của em đã hoàn thành.
Dù đã có nhiều cố gắng, xong bản luận văn vẫn không tránh khỏi những thiếu
sót và hạn chế, em rất mong nhận được sự góp ý của các thầy để bản luận văn của
em được hoàn thiện hơn.
Em xin trân trọng cảm ơn!
Học viên
Nguyễn Việt Hùng
MỤC LỤC
Trang
Lời cam đoan.
Mục lục
Danh mục các ký hiệu, các chữ viết tắt.
Danh mục các hình vẽ, đồ thị
1
6
6
6
6
PHẦN MỞ ĐẦU.
Chương I- TÔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO.
1.1. Lịch sử phát triển của mạng nơ ron nhân tạo.
1.1.1 Mô hình nơron sinh học
1.1.1.1 Chức năng, tổ chức và hoạt động của bộ não con người.
9
1.1.1.2 Mạng nơron sinh học
1.1.2. Mạng nơ ron nhân tạo.
10
11
12
12
14
16
18
23
23
23
23
24
25
25
27
1.1.3. Lịch sử phát triển của mạng nơron nhân tạo
1.1.4. Các tính chất của mạng nơron nhân tạo
1.2. Cấu tạo mạng noron.
1.3. Cấu trúc mạng noron.
1.4. Phương thức làm việc của mạng nơron.
1.5. Các luật học
1.6. Mạng nơron truyền thẳng và mạng nơron hồi quy.
1.6.1. Mạng nơron truyền thẳng.
1.6.1.1. Mạng một lớp nơron.
1.6.1.2. Mạng nhiều lớp nơron.
1.6.2. Mạng nơron hồi quy.
1.6.2.1. Mạng hồi quy không hoàn toàn
1.6.2.2. Mạng các dãy của Jordan
1.6.2.3. Mạng hồi quy đơn giản
yi
28
31
32
33
34
1.7. Các ứng dụng của mạng nơron
1.8. Công nghệ phần cứng sử dụng mạng nơron.
1.9. So sánh khả năng của mạng nơron với mạch lôgic:
1.10. KẾT LUÂN CHƯƠNG I
Chương II: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG
34
34
35
36
37
38
38
39
40
42
43
44
45
46
47
47
48
52
53
54
55
57
57
59
61
2.1 Khái quát chung
2.1.1 Đặt vấn đề
2.1.2. Định nghĩa
2.1.3. Sơ lược về sự phát triển của các phương pháp nhận dạng
2.2. Các phương pháp nhận dạng
2.2.1. Nhận dạng On-line.
2.2.1.1.Phương pháp lặp bình phương cực tiểu
2.2.1.2.Phương pháp xấp xỉ ngẫu nhiên
2.2.1.3. Phương pháp lọc Kalman mở rộng
2.2.2. Nhận dạng off-line
2.2.2.1. Phương pháp xấp xỉ vi phân
2.2.2.2 Phương pháp gradient
2.2.2.3. Phương pháp tìm kiếm trực tiếp
2.2.2.4. Phương pháp tựa tuyến tính
2.2.2.5. Phương pháp sử dụng hàm nhạy
2.2.3. Nhận dạng theo thời gian thực
2.3. Mô tả toán học của đối tượng ở rời rạc
2.4. Nhận dang hệ thống sử dụng mạng nơron
2.4.1. Mô hình nhận dạng kiểu truyền thẳng
2.4.2 Mô hình song song
2.4.3 Mô hình nối tiếp - song song
2.4.4. Mô hình ngược trực tiếp
2.5. Tính gần đúng hàm số dùng mạng nơron.
2.6. Mô hình mạng nơron trong nhận dạng.
2.7. KẾT LUÂN CHƯƠNG II
Chương III: ỨNG DỤNG MẠNG NƠRON ELMAN NHẬN DẠNG VỊ TRÍ
RÔBÔT HAI KHÂU
62
62
62
64
64
64
3.1. Mạng nơron Elman:
3.1.1. Cấu trúc mạng Elman
3.1.2. Giá trị đầu vào của các tham số.
3.1.3. Huấn luyện
3.2. Động học rôbốt hai khâu
3.2.1. Phân tích chọn mạng nơron Elman nhận dạng vị trí rôbôt hai khâu
3.2.2. Động học rôbốt hai khâu
64
66
67
3.3. Ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu
67
69
3.3.1. Thiết lập sơ đồ nhận dạng
3.3.2. Quá trình nhận dạng
89
90
3.4. KẾT LUÂN CHƯƠNG III
3.5. KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI
1
Phần mở đầu
PHẦN MỞ ĐẦU
1. Tính cấp thiết của đề tài:
Nước ta đang bước vào thời kỳ Công nghiệp hóa- hiện đại hóa đất nước.
Tự động hóa là một nhu cầu cấp bách để tăng năng suất lao động, nâng cao chất
lượng sản phẩm, cải thiện điều kiện làm việc của người lao động thúc đẩy sự
phát triển của nền kinh tế.
Trong các ngành công nghệip tự động hoá giữ một vai trò quan trọng nó cho
phép tự động hoá các quá trình sản xuất. Nhận dạng hệ thống là một trong những
công việc đầu tiên phải thực hiện khi giải quyết một bài toán điều khiển tự động,
nó quyết định chất lượng và hiệu quả của công việc điều khiển hệ thống về sau.
Tuy ra đời muộn nhưng nhận dạng đã phát triển rất nhanh và đã có những thành
tựu vượt bậc. Nguyên nhân của sự phát triển vượt bậc đó một phần từ yêu cầu
thực tế, song có lẽ phần chính là nhờ có những hỗ trợ tích cực của các ngành
khoa học có liên quan như tin học, lý thuyết điều khiển mờ và mạng nơron.
Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên ta
phải hiểu rõ đối tượng đó. Đối với đối tượng là phi tuyến như rô bôt hai khâu, ta
cần nhận dạng đặc tính vào - ra của nó để đảm bảo tạo tín hiệu điều khiển thích
nghi được lựa chọn chính xác hơn. Hiện nay thường sử dụng logic mờ ( Fuzzy
Logic ), mạng nơron ( Neural Network) và mạng nơron mờ ( Fuzzy Neural
Network) để nhận dạng và điều khiển thích nghi đối tượng có thông số thay đổi.
Trong chương trình khoá học Cao học chuyên ngành Tự động hoá tại trường Đại
học Kỹ thuật Công nghiệp Thái Nguyên, được sự tạo điều khiện giúp đỡ của nhà
trường và Tiến sĩ Phạm Hữu Đức Dục, em đã lựa chọn đề tài tốt nghiệp của
mình là :“ Nghiên cứu ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu”.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
2
Phần mở đầu
2. Ý nghĩa khoa học và thực tiễn của đề tài.
a. Ý nghĩa khoa học: Với đề tài ứng dụng mạng nơron Elman nhận dạng vị trí
rô bôt hai khâu. Sau khi đã nhận dạng được đối tượng ta có thể thay thế gần đúng
mô hình vị trí rô bôt hai khâu bằng một mạng nơron Elman.
b.Ý nghĩa thực tiễn: Từ các thông số mô phỏng của mạng nơron, ta có thể
tính toán được tín hiệu điều khiển nhằm điều khiển thích nghi rôbôt hai khâu.
3. Mục đích của đề tài
Để điều chỉnh được chính xác một đối tượng, trước tiên ta phải hiểu rõ tất
cả các thông số của đối tượng đó. Đối với đối tượng có thông số tải thay đổi như
vị trí rô bôt 2 khâu, ta cần nhận dạng đặc tính vào - ra của nó để bảo đảm tạo ra
được tín hiệu điều khiển thích nghi được chính xác hơn.
Đề tài này nghiên cứu một ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt 2
khâu. Sơ đồ hình 1 mô tả một mô hình điều chỉnh thích nghi rôbôt hai khâu theo
mô hình mẫu.
ym
e2
Mô hình mẫu
-ymh
xd
e2
Khoá K
Bộ điều
khiển
Rôbôt hai khâu
•
u
e2
••
e 2
Khoá K
y
…
Mạng nơron
nhận dạng
ymh
e1
Hình 1. Sơ đồ khối điều khiển thích nghi rôbôt hai khâu
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
3
Phần mở đầu
Sơ đồ điều khiển thực hiện theo 2 giai đoạn sau đây:
- Giai đoạn 1:
Sử dụng mạng nơron nhận dạng vị trí rôbôt hai khâu. Khi đó các khóa K
mở. Căn cứ vào sai lệch e1 giữa tín hiệu ra của rôbôt là y và tín hiệu ra của
mạng nơron nhận dạng là ymh, mạng nơron tiến hành “HỌC” để nhận dạng đặc
tính đầu ra y của rô bôt hai khâu, sao cho tín hiệu ra của mạng nơron nhận dạng
ymh bám theo được tín hiệu ra y của rôbôt hai khâu. Với e1 = y − ymh
.
- Giai đoạn 2: Căn cứ vào kết quả nhận dạng ta có được một mạng nơron
có thể thay thế gần đúng rôbôt hai khâu, từ đó tiến hành điều khiển thích nghi rô
bôt hai khâu theo mô hình mẫu. Các khoá K đóng. Dựa vào bộ thông số sai lệch
•
••
(e2, e , e ,... ) giữa tín hiệu đầu ra của mô hình mẫu ym và tín hiệu đầu ra của
2
2
mạng nơron nhận dạng ymh, bộ điều khiển thực hiện các luật học thích nghi tạo ra
tín hiệu điều khiển u với mục đích làm cho tín hiệu đầu ra y mh của mạng nơron
nhận dạng bám theo được tín hiệu đầu ra của mô hình mẫu ym. Với
•
••
e2 = ym − ymh và e , e ,... là đạo hàm các cấp của sai lệch e2.
2
2
Phần này sử dụng các luật học điều khiển thích nghi vị trí rôbôt hai khâu
sẽ được thực hiện ở các công trình khoa học cấp cao hơn.
4. Đối tượng và phạm vi nghiên cứu của đề tài:
Trong khuôn khổ của luận văn Thạc sĩ Kỹ thuật, với thời gian nghiên cứu có
hạn, luận văn này chỉ đi sâu nghiên cứu ứng dụng mạng nơron nhận dạng vị trí
rô bôt hai khâu (đã trình bày ở giai đoạn 1 tại sơ đồ hình 1). Luận văn này cũng
giới hạn phạm vi nghiên cứu: sử dụng mạng nơron Elman đóng vai trò là mạng
nơron nhận dạng và đối tượng cần nhận dạng là vị trí rôbôt hai khâu.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
4
Phần mở đầu
Phần mở đầu
Chương 1. Tổng quan về mạng nơron nhân tạo.
Phân tích tổng quan về mạng nơron bao gồm: phần lịch sử phát triển, kết
cấu của mạng các nơron, ứng dụng của chúng...
Chương 2. Các phương pháp ứng dụng mạng nơron trong nhận dạng.
Chương 2 tập trung trình bày các phươn g phápứng dụng mô hình
mạng nơron trong nhận dạng .
Chương 3. Ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu.
+ Tổng quan về mạng Elman
+ Phân tích chọn mạng nơron Elman tiến hành nhận dạng vị trí rôbôt hai
khâu
y(k)
x(h)
Rôbôt hai khâu
( Mô hình tính toán vị trí)
^
+
y
(k)
Mạng nơron
Elman
e(k)
Luật học của
mạng nơron
Elman
Hình 2. Mô hình nhận dạng vị trí rôbôt hai khâu
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5
Phần mở đầu
+ Động học rôbôt hai khâu
+ Ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu
+ Để thấy rõ hơn ưu điểm của việc sử dụng mạng nơron Elman trong nhận
dạng vị trí rôbôt hai khâu tiến hành so sánh cấu trúc và khả năng nhận dạng
của mạng nơron Elman với mạng nơron truyền thẳng khi chúng cùng được
sử dụng nhận dạng vị trí rôbôt hai khâu.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
Chương I: Tổng quan về mạng nơron nhân tạo
CHƯƠNG I
TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO
1.1. Cở sở về mạng nơron
1.1.1 Mô hình nơron sinh học
1.1.1.1 Chức năng, tổ chức và hoạt động của bộ não con người.
Bộ não con người có chức năng hết sức quan trọng trong đời sống của con
người. Nó gần như kiểm soát mọi hành vi của con người từ hoạt động cơ bắp đơn
giản đến những hoạt động phức tạp như học tập, nhớ, suy luận, tư duy, sáng tạo….
Bộ não người được hình thành từ sự liên kết của khoảng 1011 phần tử (tế
bào), trong đó có khoảng 1010 phần tử là nơron, số còn lại khoảng 9x1010 phần tử là
các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng như hỗ trợ cho các
nơron. Thông thường một bộ não trung bình cân nặng khoảng 1,5 Kg và có thể tích
là 235 cm3. Cho đến nay người ta vẫn chưa thực sự biết rõ cấu tạo chi tiết của bộ
não. Tuy vậy về đại thể thì cấu tạo bộ não được chia ra thành nhiều vùng khác nhau.
Mỗi vùng có thể kiểm soát một hay nhiều hoạt động của con người.
* Các đặc tính của não người:
- Tính phân lớp: Các vùng của bộ não được phân thành các lớp, thông tin được
xử lý theo các tầng.
- Tính mô đun: Các vùng của bộ nhớ được phân thành các mô đun được mã
hoá bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác
quan và các tín hiệu ra.
- Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem như
các liên hệ phản hồi khi truyền tín hiệu.
- Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều kênh
thông tin khác nhau, được xử lý bằng các phương pháp đặc biệt.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
7
Chương I: Tổng quan về mạng nơron nhân tạo
Bộ não có cấu trúc nhiều lớp: Lớp bên ngoài thường thấy là các nếp nhăn, là
lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh các hành động phức
tạp như nghe, nhìn, tư duy…
Tín hiệu thu, nhận ở các dạng xung điện – màng membrane: mỗi tế bào thần
kinh có một màng, có nhiệm vụ giữ cho các chất nuôi tế bào không tràn ra ngoài.
Do đó các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có dung dịch
muối lỏng làm cho chúng bị phân rã ra thành các nguyên tử âm và dương ra khỏi tế
bào bằng với lực hút chúng vào trong tế bào.
Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ thần
kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị
thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện. Dòng điện này
gây ra phản ứ ng kích thích làm thay ổđi khả năng thẩm thấu ion của tế bào tiếp
theo.
* Xử lý thông tin trong não bộ:
Thông tin được tiếp nhận từ các giác quan và chuyển vào các tế bào thần kinh
vận động vào các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ
tăng trong thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần
kinh trung ương, kết quả xử lý thông tin được gửi đến các tế bào cơ.
Các tế bào thần kinh đưa các tín hiệu giống nhau, do đó không thể phân biệt
được đó là của loài động vật nguyên thuỷ hay của một giáo sư. Các khớp thần kinh
chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản lại. Lượng
tín hiệu được biến đổi gọi là cường độ khớp thần kinh đó chính là trọng số của
nơron trong mạng nơron nhân tạo.
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao. Có
thể trả lời ngắn gọn là sự giống nhau của các tín hiệu của các tế bào thần kinh đơn
lẻ. Do dó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào
thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay các tế bào thần
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8
Chương I: Tổng quan về mạng nơron nhân tạo
kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơron ( Neural
Networks)
Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã được con
người quan tâm nghiên cứu từ lâu nhưng cho đến nay người t a vẫn chưa hiểu rõ
thực sự về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các hoạt động
liên quan đến trí óc như suy nghĩ, nhớ, sáng tạo…Tuy thế cho đến nay người ta
cũng có những hiểu biết căn bản về hoạt động cấp thấp của não.
Mỗi nơron liên kết với khoảng 104 nơron khác cho đến khi hoạt động thì bộ
não hoạt động một cách tổng lực và đạt hiệu quả cao. Nói một cách khác là các
phần tử của não bộ hoạt động một cách song song và tương tác hết sức tinh vi phức
tạp và hiệu quả hoạt động thường rất cao, nhất là trong các vấn để phức tạp. Về tốc
độ xử lý của bộ não người rất nhanh mặc dù tốc độ xử lý của mỗi nơron (có thể xem
như phần tử xử lý hay phần tử tính) là rất chậm so với xử lý của các cổng logic
silicon trong các chip vi xử lý ( 103 giây so với 1010 giây)
* Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan như
sau:
- Trước hết con người bị kích thích bởi giác quan từ bên ngoài hoặc trong cơ
thể. Sự kích thích đó được biến thành các xung điện bởi chính giác quan tiếp nhận
kích thích. Những tín hiệu này được chuyển về trung ương thần kinh là não bộ để
xử lý. Trong thực tế não bộ liên tục nhận thông tin xử lý, đánh giá và so sánh với
thông tin lưu trữ để đưa ra quyết định thích đáng.
- Những mệnh lệnh cần thiết được phát sinh và gửi đến bộ phận thi hành thích hợp
như các cơ tay, chân… Những bộ phận thi hành biến những xung điện thành dữ liệu
xuất của hệ thống.
* Tóm lại : Bộ não người có chức năng hết sức quan trọng đối với đời sống của con
người. Cấu tạo của nó rất phức tạp, tinh vi bởi được tạo thành từ mạng nơron có
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
9
Chương I: Tổng quan về mạng nơron nhân tạo
hàng chục tỉ tế bào với mức độ liên kết giữa các nơron là rất cao. Hơn nữa nó còn
được phân chia thành các vùng và các lớp khác nhau. Bộ não hoạt động dựa trên cơ
chế hoạt động song song của các nơron tạo nên nó
1.1.1.2 Mạng nơron sinh học
Mạng nơron bao gồm vô số các nơron được liên kết truyền thông với nhau
trong mạng. Hình 1.1 là một phần của mạng nơron bao gồm hai nơron.
Axôn
Axôn được nối với rễ đầu vào của
nơron 2
Nhân
Rễ đầu ra
Rễ đầu ra của nơron 1 được nối với axôn
Hình 1.1. Mạng nơron đơn giản gồm 2 nơron
Thân nơron được giới hạn trong một màng membran và trong cùng là nhân, từ
thân nơron còn có rất nhiều đường rẽ nhánh gọi là rễ.
Đường liên lạc liên kết nơron này với nơron khác được gọi là axôn, trên axôn
có các đường rẽ nhánh. Nơron có thể liên kết với các nơron khác qua các rễ. Chính
vì sự liên kết đa dạng như vậy nên mạng nơron có độ liên kết cao.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10
Chương I: Tổng quan về mạng nơron nhân tạo
Các rễ của nơron được chia thành hai loại: loại nhận thông tin từ nơron khác
qua axôn, mà ta sẽ gọi là rễ đầu vào và loại đưa thông tin qua axôn tới các nơron
khác gọi là rễ đầu ra.
Một nơron có thể có nhiều rễ đầu vào, nhưng chỉ có một rễ đầu ra. Như thế,
nếu xem nơron như một khâu điều khiển thì đó chính là khâu có nhiều đầu vào, một
đầu ra.
Quá trình hoạt động của một nơron là một quá trình điện hoá tự nhiên. Ở trạng
thái cân bằng (trạng thái tĩnh) điện áp của màng membran khoảng -75mV. Khi có
tác động bên ngoài vào nơron (mức điện áp khoảng 35mV), trong tế bào nơron xảy
ra hàng loạt các phản ứng hoá học tạo thành lực tác động làm nơron bị kích hoạt.
Thế năng sinh ra khi nơronở trạng thái bị kích thích hoàn toàn này chỉ tồn tại
khoảng vài mili giây sau đó nơron lại trở về trạng thái cân bằng cũ, thế năng này
được truyền vào mạng qua axôn và có khả năng kích thích hoặc kìm hãm tự nhiên
các nơron khác trong mạn g. Một nơron sẽ ở trạng thái kích thích khi tại đầu vào
xuất hiện một tín hiệu tác động vượt qua ngưỡng cân bằng của nơron.
Một tính chất cơ bản của mạng nơron sinh học là các đáp ứng theo kích thích có khả
năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên, giảm đi hoặc hoàn toàn
biến mất. Qua các nhánh axôn liên kết tế bào nơron này với tế bào nơron khác, sự
thay đổi trạng thái của một nơron cũng kéo theo sự thay đổi trạng thái của những
nơron khác dẫn đến sự thay đổi của toàn bộ mạng nơron. Việc thay đổi trạng thái
của mạng nơron có thể thực hiện qua một quá trình dạy hoặc do khả năng học tự
nhiên
1.1.2 Mạng nơron nhân tạo
Sự thay thế những tính chất này bằng một mô hình toán học tương đương được gọi
là mạng nơron nhân tạo. Mạng nơron nhân tạo có thể được chế tạo bằng nhiều cách
khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơron nhân tạo.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
11
Chương I: Tổng quan về mạng nơron nhân tạo
P1
w1
w2
a
p2
n
f
:
:
:
b
pm
wm
1
Hình 1.2. Nơron nhiều đầu vào
Hình 1.2. Biểu diễn một nơron nhân tạo đơn giản bao gồm m đầu vào và một đầu
ra.
Đứng về mặt hệ thống một nơron là một hệ thống MISO quen thuộc với nhiều
đầu vào và một đầu ra. Cấu trúc của một nơron gồm một bộ tổng và một hàm truyền
f(n).
Quan hệ giữa các đầu vào và ra của một nơron được biểu diễn bằng phương
trình toán học như sau:
w
1
w2
m
n = p w + b = . *
[
p1 p2 ... pm + b = Wp + b
]
(1.1)
∑
k
k
k=1
:
wm
a = f(n), trong đó f là hàm chuyển đổi, w là trọng số và b là tham số bù.
1.1.3. Lịch sử phát triển của mạng nơron nhân tạo
Mạng nơron nhân tạo đã có một lịch sử lâu dài. Năm 1943, McCulloch và Pitts
đã đưa ra khả năng liên kết và một số liên kết cơ bản, của mạng nơron. Năm 1949,
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
12
Chương I: Tổng quan về mạng nơron nhân tạo
Hebb đã đưa ra các luật thích nghi trong mạng nơron. Năm 1958, Rosenblatt đưa ra
cấu trúc Perception. Năm 1969, Minsky và Papert phân tích sự đúng đắn của
Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn của một số mô
hình. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc
của hệ động học phi tuyến với các tính chất mới. Năm 1982, Hoppfield đã đưa ra
mạng học phi tuyến với các tính chất mới. Năm 1982, Rumelhart đưa ra mô hình
song song (Parallel Distributer Processing-PDS) và một số kết quả và thuật toán.
Thuật toán học lan truyền ngược (Back Propagation learning rule) được Rumelhart,
Hinton, Williams (1986) đề xuất luyện mạng nơron nhiều lớp. Những năm gần đây,
nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơron mới. Mạng nơron được ứng
dụng trong nhiều lĩnh vực kinh tế, kỹ thuật, khoa học vũ trụ (Hecht - Nielsen,
1988).
1.1.4. Các tính chất của mạng nơron nhân tạo
- Là hệ phi tuyến: Mạng nơron có khả năng to lớn trong lĩnh vực nhận dạng và
điều khiển các đối tượng phi tuyến.
- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó có tốc độ
tính toán rất cao, rất phù hợp với lĩnh vực nhận dạng và điều khiển.
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả
năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on-line.
- Là hệ nhiều biến, là hệ nhiều đầu vào, nhiều đầu ra (Many Input Many
Output - MIMO), rất tiện dùng khi điều khiển đối tượng có nhiều biến số.
1.2. Cấu tạo mạng noron.
Dựa trên những phương pháp xây dựng mạng noron ta có thể coi mạng nơron như
một hệ MISO truyền đạt và xử lý tín hiệu. Đặc tính truyền đạt của noron phần lớn là
đặc tính truyền đạt tĩnh, chỉ khi có khâu đáp ứng chức năng kiểu BSB thì lúc đó
noron có đặc tính động. Trong mọi trường hợp do đặc tính phi tuyến của khâu tạo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
13
Chương I: Tổng quan về mạng nơron nhân tạo
chức năng ra kết hợp và/hoặc với đặc tính phi tuyến của khâu tạo chức năng đáp
ứng mà noron là một hệ có tính phi tuyến mạnh.
Liên kết đầu vào và đầu ra của nhiều nơron với nhau ta được một mạng nơron. Việc
ghép nối các nơron có thể theo một nguyên tắc bất kỳ nào đó, vì về nguyên tắc một
nơron là một hệ MISO. Từ đó có thể phân biệt các loại nơron khác nhau như các
loại nơron mà các đầu vào nhận thông tin từ môi trường bên ngoài với các loại
nơron mà các đầu vào được nối với các nơron khác trong mạng. Các nơron mà đầu
vào giữ chức năng nhận thông tin từ môi trường bên ngoài đóng chức năng “đầu
vào” của mạng. Cũng tương tự như vậy một nơron có một đầu ra, đầu ra của nơron
này có thể là đầu vào của nhiều nơron khác hoặc có thể đưa ra m ôi trường bên
ngoài. Những nơron có đầu ra đưa tín hiệu vào môi trường bên ngoài được gọi là
“đầu ra” của mạng. Như vậy một mạng nơron cũng có chức năng của một hệ truyền
đạt và xử lý tín hiệu từ đầu vào đến đầu ra của mạng. Các nơron trong một mạng
thường được chọn cùng một loại, chúng được phân biệt với nhau qua các vectơ hàm
trong lượng ở đầu vào wi j.
Nguyên lý cấu tạo của một mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm nhiều
nơron có cùng một chức năng trong mạng. Trên hình 1.3 là mô hình của một mạng
nơron ba lớp với 9 nơron. Mạng có 3 đầu vào x1, x2, x3 và 2 đầu ra y1, y2. Các tín
hiệu đầu vào được đưa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu vào của
mạng (input layer). Các nơron trong lớp này gọi là nơron đầu vào. Đầu ra của các
nơron này được đưa đến đầu vào của bốn nơron tiếp theo, bốn nơron này không trực
tiếp tiếp xúc với môi trường xung quanh và làm thành lớp trung gian trong mạng
(hidden layer). Các nơron trong lớp này có tên là nơron nội hay nơron bị tre. Đầu ra
của các nơron này được đưa đến hai nơron đưa tín hiệu ra môi trường bên ngoài.
Các nơron trong lớp đầu ra này có tên là nơron đầu ra (output layer).
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
14
Chương I: Tổng quan về mạng nơron nhân tạo
x1
w1
x2
y1
y2
x3
Hình 1.3
Mạng noron 3 lớp
1.3. Cấu trúc mạng noron.
Nelson và Illingworth (1991) đã đưa ra một số loại cấu trúc của mạng nơron
như hình 1.4. Nơron được vẽ là các vòng tròn xem như một tế bào thần kinh, chúng
có các mối liên hệ đến các nơron khác nhờ các trọng số, lập thành các ma trận trọng
số tương ứng.
Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp qua các
trọng số. Mạng một lớp truyền thẳng (Single - Layer Feedforward Network) như
hình 1.5a.
Có thể nối vài lớp nơron với nhau tạo thành mạng nhiều lớp truyền thẳng
(Multi layer - Layer Feedforward Network) như hình 1.5d.
Lớp nơron thực hiện tiếp nhận các tín hiệu vào gọi là lớp vào (Input Layer).
W
11
x1
w1
x2
y1
y2
y3
x1
x2
y1
y2
ym
Wm,m
xm
Wm,m
x3
b)
a)
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
15
Chương I: Tổng quan về mạng nơron nhân tạo
Wm,m
x1
y1
x1
wm1
x2
wm
x2
wm
1y2
y1
y2
Wm,m
xm
ym
x3
y3
d)
c)
y1
y2
ym
x1
x1
w1
x2
y1
wm
y2
x2
xm
ym
xm
f)
e)
Hình 1.4
Sơ đồ cấu trúc các loại mạng nơron.
Lớp nơron thực hiện đưa tín hiệu ra gọi là lớp ra (Output Layer).
Giữa hai lớp nơron vào và ra có một hoặc nhiều lớp nơron không liên hệ trực
tiếp với môi trường bên ngoài được gọi là các lớp ẩn (Hidden Layer). Mạng nơron
truyền thẳng nhiều lớp có thể có một hoặc nhiều lớp nơron ẩn.
Mạng nơron được gọi là liên kết đầy đủ nếu từng đầu ra của mỗi lớp được liên
kết với đủ các nơron ở các lớp tiếp theo.
Hai loại mạng nơron một lớp và nhiều lớp được gọi là truyền thẳng
(Feedforward Network) nếu đầu ra của mỗi nơron được nối với các đầu vào của các
nơron cùng lớp đó hoặc đầu vào của các nơron của các lớp trước đó. Trong mạng
không tồn tại bất kỳ một mạch hồi tiếp nào kể cả hồi tiếp nội lẫn hồi tiếp từ đầu ra
trở về đầu vào.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
16
Chương I: Tổng quan về mạng nơron nhân tạo
Mạng nơron bao gồm một hay nhiều lớp trung gian gọi là mạng MLP
(Multilayer perceptrons Networks).
Mạng nơron phản hồi mà đầu ra của mỗi nơron được quay trở lại nối với đầu
vào của các nơron cùng lớp đó được gọi là mạng Lateral (hình 1.5f).
Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơron hồi
quy (Recurrent Networks).
Hình 1.5b chỉ ra một mạng nơron hồi quy đơn giản nhất chỉ có một nơron liên
hệ phản hồi với chính nó.
Hình 1.5c mạng nơron một lớp hồi quy với chính nó và các nơron khác.
Hình 1.5e là mạng nơron nhiều lớp hồi quy.
1.4. Phương thức làm việc của mạng nơron.
Phương thức làm việc của một mạng nơron nhân tạo có thể chia làm 2 giai đoạn:
- Tự tái tạo ( reproduction )
- Giai đoạn học ( learning phase )
Ở một mạng nơron có cấu trúc bền vững có nghĩa là vectơ hàm trọng lượng đầu
vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi về
mặt cấu trúc cũng như tham số thì mạng có một quá trình truyền đạt xác định chắc
chắn, tĩnh hoặc động phụ thuộc vào cấu tạo của các nơron trong mạng. Ở đầu vào
của mạng xuất hiện thông tin thì đầu ra cũng xuất hiện một đáp ứng tương ứng. Đối
với mạng nơron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau khi
đầu vào nhận được thông tin, còn đối với mạng nơron có quá trình truyền đạt động
thì phải sau một thời gian quá độ ở đầu ra của mạng nơron mới xuất hiện đáp ứng.
Xuất phát từ quan điểm mọi đáp ứng của các nơron đều tiền định tự nhiên, có nghĩa
là khi xuất hiện các kích thích ở đầu vào của mạng ở các thời điểm khác nhau các
giá trị như nhau thì đáp ứng ở đầu ra ở các thời điểm tương ứng cũng hoàn toàn
giống nhau. Quá trình làm việc như vậy của một mạng nơron được gọi là quá trình
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
17
Chương I: Tổng quan về mạng nơron nhân tạo
tái diễn ( reproduction phase ). Khi đó thông tin ở đầu vào mạng lưu giữ thông tin
đó và dựa trên các tri thức của mình đưa ra các đáp ứng ở đầu ra phù hợp với lượng
thông tin thu được từ đầu vào.
Mạng nơron khi mới hình thành còn chưa có tri thức, tri thức của mạng hình thành
dần sau một quá trìmh học. Mạng nơron được dạy bằng cách đưa vào đầu vào
những kích thích và hình thành những đáp ứng tương ứng, những đáp ứng phù hợp
với từng loại kích thích sẽ được lưu giữ, giai đoạn này được gọi là giai đoạn học của
mạng. Khi đã hình thành tri thức mạng có thể giải quyết các vấn đề cụ thể một cách
đúng đắn. Đó có thể là những vấn đề ứng dụng rất khác nhau, được giải quyết chủ
yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và các đáp
ứng đầu ra:
- Nhiêm vụ của một mạng liên kết là hoàn chỉnh hoặc hiệu chỉnh các thông tin thu
thập được không đầy đủ hoặc bị tác động nhiễu. Mạng nơron kiểu này được ứng
dụng trong lĩnh vực hoàn thiện mẫu, mà một trong lĩnh vực cụ thể đó là nhận dạng
chữ viết.
- Nhiệm vụ tổng quát của mạng nơron là lưu giữ tác động thông tin. Dạng thông tin
lưu giữ đó chính là quan hệ giữa các thông tin đầu vào của mạng và các đáp ứng
đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả
năng suy diễn và đưa ra một đáp ứng phù hợp. Đó chính là chức năng nhận dạng
theo mẫu của mạng nơron. Để thực hiện chức năng này mạng nơron đóng vai trò
như một bộ phận tổ chức các nhóm thông tin đầu vào và tương ứng với mỗi nhóm là
một đáp ứng đầu ra phù hợp. Như vậy một nhóm bao gồm một loại thông tin đầu
vào và một đáp ứng ra. Các nhóm có thể hình thành trong quá trình học và cũng có
thể hình thành không trong quá trình học.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
18
Chương I: Tổng quan về mạng nơron nhân tạo
Trong lĩnh vực ứng dụng, mạng nơron có khả năng tạo ra các đáp ứng đầu ra dựa
trên thông tin thu thập vào của mạng, điều đó có nghĩa là ứng với một thông tin xác
định ở đầu vào của mạng cung cấp một đáp ứng tương ứng xác định ở đầu ra. Nhìn
trên quan điểm lý thuyết hệ thống, mạng nơron được coi như một bộ xấp xỉ thông
tin, thiết bị này có khả năng cung cấp một quá trình xử lý mong muốn một cách
chính xác. Mục đích của quá trình học là tạo ra một tri thức cho mạng thông qua rèn
luyện. Nguyên tắc học được thực hiện cho mạng mà cấu trúc của mạng cũng như
các phần tử nơron cố định, chính là thay đổi giá trị của các phần tử trong vectơ hàm
trọng lượng, vectơ ghép nối giữa các phần tử nơron trong mạng. Các phần tử này
được chọn sao cho quá trình truyền đạt mong muốn được xấp xỉ một cách đủ chính
xác như bài toán yêu cầu. Như vậy, học chính là quá trình giả bài toán tối ưu tham số.
1.5. Các luật học
Thông thường mạng nơron được điều chỉnh hoặc được huấn luyện để hướng
các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng được chỉ ra trên
cơ sở so sánh giữa đầu ra với đầu vào cho tới khi đầu ra phù hợp với đích. Những
cặp vào/đích (input/ taget) được dùng để giám sát cho sự huấn luyện mạng.
Đích
Vào
Hàm trọng
(weights) giữa các
nơron
So
sánh
Điều chỉnh
Hình 1.5. Cấu trúc huấn luyện mạng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
19
Chương I: Tổng quan về mạng nơron nhân tạo
Để có được một cặp số vào/ra ở đó mỗi giá trị vào được gửi đến mạng và giá
trị ra tương ứng được thực hiện bằng mạng là sự xem xét và so sánh với giá trị
mong muốn. Bình thường tồn tại một sai số bởi lẽ giá trị mong muốn không hoàn
toàn phù hợp với giá trị thực. Sau mỗi lần chạy ta có tổng bình phương của tất cả
các sai số. Sai số này được sử dụng để xác định các hàm trọng mới.
Sau mỗi lần chạy hàm trọng của mạng được sửa đổi với đặc tính tốt hơn tương
ứng với đặc tính mong muốn. Từng cặp giá trị vào / ra phải được kiểm tra và trọng
lượng được điều chỉnh một vài lần. Sự thay đổi các hàm trọng của mạng được dừng
lại nếu tổng các bình phương sai số nhỏ hơn một giá trị đặt trước hoặc đã đặt đủ
một số lần chạy xác định ( trong trường hợp mạng có thể không thoả mãn yêu cầu
đặt ra do sai lệch còn cao). Có hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông số
về trọng số cập nhật kết nối giữa các nơron.
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của
mạng nơron gồm số lượng nút (node) và các mẫu liên kết.
Có hai loại học: Thực hiện đồng thời và không đồng thời.
Chúng ta tập trung vào phần học thông số.
Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng nơron.
Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính xác
mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơron có sẵn. Để
làm được việc đó, mạng nơron sử dụng các trọng số điều chỉnh, với nhiều phương
pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng cho
mạng. Có ba phương pháp học:
* Học có giám sát (Supervised Learning)
Là quá trình học có giám sát (Hình 1.6), ở mỗi thời điểm thứ i khi đưa tín hiệu
vào xi mạng nơron, tương ứng sẽ có các đáp ứng mong muốn di của đầu ra cho
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
20
Chương I: Tổng quan về mạng nơron nhân tạo
trước ở thời điểm đó. Hay nói cách khác, trong quá trình học có giám sát, mạng
nơron được cung cấp liên tục các cặp số liệu mong muốn vào - ra ở từng thời điểm
(x1, d1), (x2, d2), ... , (xk, dk) , ... khi cho đầu vào thực của mạng là x k tương ứng sẽ
có tín hiệu đầu ra cũng được lặp lại là d k giống như mong muốn. Kết quả của quá
trình học có giám sát là tạo được một hộp đen có đầu vào là véctơ tín hiệu vào x sẽ
đưa ra được câu trả lời đúng d.
y
x
y
Mạng
Mạng
nơron
nơron
x
d
Máy
phát
tín
e
Hình 1.6
Hình 1.7
Mô hình học có giám sát
Mô hình học không có giám sát
và học củng cố
Để đạt được kết quả mong muốn trên, khi đưa vào tín hiệu xk, thông thường sẽ
có sai lệch ek giữa tín hiệu đầu ra thực yk và tín hiệu đầu ra mong muốn dk. Sai lệch
đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng nơron là ma trận
trọng số W ... Quá trình cứ thế tiếp diễn sao cho sai lệch giữa tín hiệu ra mong
muốn và tín hiệu ra thực tế trong phạm vi cho phép, kết quả ta nhận được ma trận
trọng số W với các phần tử wịj đã được điều chỉnh phù hợp với đặc điểm của đối
tượng hay hàm số mạng nơron cần học.
* Học củng cố (Reinforcement Learning)
Tín hiệu có thể được đưa tín hiệu d từ bên ngoài môi trường (Hình 1.6), nhưng
tín hiệu này có thể không được đưa đầy đủ, mà có thể chỉ đưa đại diện một bit để có
tính chất kiểm tra quá trình đúng hay sai. Tín hiệu đó được gọi là tín hiệu củng cố
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
21
Chương I: Tổng quan về mạng nơron nhân tạo
(Reinforcement Signal). Phương pháp học củng cố chỉ là một trường hợp của
phương pháp học có giám sát, bởi vì nó cũng có nhận tín hiệu chỉ đạo (giáo viên)
phản hồi từ môi trường. Chỉ khác là tín hiệu củng cố chỉ có tính ước lượng hơn là để
dạy. Có nghĩa là chỉ có thể nói là tốt hay xấu cho một số tín hiệu đầu ra cá biệt. Tín
hiệu giám sát bên ngoài d thường được tiến hành bởi các tín hiệu ước lượng để tạo
thông tin tín hiệu ước lượng cho mạng nơron điều chỉnh trọng số với hy vọng sự
ước lượng đó mang lại sự tốt đẹp cho quá trình tính toán. Học củng cố còn được gọi
là học với sự ước lượng (Learning With a Critic).
* Học không có giám sát (Unsupervised Learning)
Trong trường hợp này, hoàn toàn không có tín hiệu ở bên ngoài (Hình 1.7).
Giá trị mục tiêu điều khiển không được cung cấp và không được tăng cường. Mạng
phải khám phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan. Trong khi
khám phá các đặc trưng khác, mạng nơron đã trải qua việc tự thay đổi thông số, vấn
đề đó còn gọi là tự tổ chức (Self - Organizing).
Hình 1.8 mô tả cấu trúc chung của quá trình học của ba phương pháp học đã
được nêu trên. Trong đó tín hiệu vào xj, j = 1, 2, 3 ..., m, có thể được lấy từ đầu ra
của các nơron khác hoặc có thể được lấy từ bên ngoài. Chú ý rằng thông số ngưỡng
θi có thể được bao trong việc học như là một trọng số thứ m: wi,m của tín hiệu vào
có giá trị xm= -1. Tín hiệu mong muốn di có sẵn chỉ trong phương pháp học có giám
sát hoặc củng cố (với di là tín hiệu học củng cố). Từ hai phương pháp học trên.
Trọng số của nơron thứ i được thay đổi tuỳ theo tín hiệu ở đầu vào mà nó thu nhận,
giá trị đầu ra của nó. Trong phương pháp học không giám sát sự thay đổi trọng số
chỉ dựa trên cơ sở các giá trị đầu vào và đầu ra. Dạng tổng quát của luật học trọng
số của mạng nơron cho biết là gia số của véc tơ wi là ∆wi tỷ lệ với tín hiệu học r và
tín hiệu đầu vào x(t):
∆wi(t) = η.r.x(t)
(1.2)
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
22
Chương I: Tổng quan về mạng nơron nhân tạo
x1
x2
xj
W
i1
Nơron thứ i
W
i2
Wi2
y
W
ij
W
i,m-1
∆wi
Máy phát tín
X
hiệu học
r
xm-1
d
W
= θ
i,m-1
,m = θ
xm= -1
η
Hình 1.8. Sơ đồ cấu trúc chung của quá trình học
η là một số dương còn gọi là hằng số học, xác định tốc độ học.
r là tín hiệu học: r = fr (wi , x , di).
(1.3)
Từ (1.2) là biểu thức chung để tính số gia của trọng số, ta thấy véc tơ trọng số
wi = (wi1, wi2, ... , wim)T có gia số với tỷ lệ của tín hiệu vào x và tín hiệu học r. Từ
các biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1) được tính là:
wi (t+1) = wi(t) + η fr (wi(t), x(t), di(t) x (t)
(1.4)
Với chỉ số trên là thời điểm tính toán. Phương trình liên quan đến sự thay đổi
trọng số trong mạng nơron rời rạc (Discrete - Time) và tương ứng với sự thay đổi
trọng số trong mạng nơron liên tục theo biểu thức:
dw (t)
i
= ηrx(t)
(1.5)
dt
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát
hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật trọng
số có trọng mạng nơron.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
23
Chương I: Tổng quan về mạng nơron nhân tạo
1.6. Mạng nơron truyền thẳng và mạng nơron hồi quy.
1.6.1. Mạng nơron truyền thẳng.
1.6.1.1. Mạng một lớp nơron.
W
11
x1
y1
y2
ym
Wm,m
x2
xm
Wm,m
Hình 1.9
Mạng nơron truyền thẳng một lớp.
Một lớp nơron là một nhóm các nơron mà chúng cùng nhận một số tín hiệu
vào đồng thời (Hình 1.9).
Trong ma trận trọng số w, các dòng thể hiện trọng số của mỗi nơron, mỗi dòng
thứ j có thể đặt nhãn như một véc tơ wj của nơron thứ j gồm m trọng số wji
wj = (wj1 ; wj2, ..., wjm)
Các trọng số trong cùng một cột thứ j ( j = 1, 2, ... , n) đồng thời nhận cùng
một tín hiệu vào xj.
(1.6)
Tại cùng một thời điểm, véc tơ đầu vào x = (x1, x2...xj…, xm) có thể là một
nguồn bên ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng. Tới khi toàn bộ
ma trận trọng số wji được các định tương ứng với véc tơ đầu vào X thì các tích số
wjixi cũng được tính toán.
1.6.1.2. Mạng nhiều lớp nơron.
x1
wm1
x2
y1
wm
y2
xm
ym
Hình 1.10. Mạng nơron truyền thẳng nhiều lớp.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
24
Chương I: Tổng quan về mạng nơron nhân tạo
Trong mạng nơron truyền thẳng nhiều lớp (Hình 1.10) trong đó các lớp được
phân chia thành 3 loại sau đây:
- Lớp vào: Là lớp nơron đầu tiên nhận các tín hiệu vào xi của véc tơ tín hiệu
vào x. Mỗi tín hiệu x i của tín hiệu vào sẽ được đưa đến tất cả các nơron của lớp
nơron đầu tiên, chúng được phân phối trên các trọng số có số lượng đúng bằng số
nơron của lớp này. Thông thường, các nơron đầu vào không làm biến đổi các tín
hiệu vào xi, tức là chúng không có các trọng số hoặc không có các loại hàm chuyển
đổi nào, chúng chỉ đóng vai trò phân phối các tín hiệu và không đóng vai trò sửa đổi
chúng.
- Lớp ẩn: Là lớp nơron dưới lớp vào, chúng không trực tiếp liên hệ với thế
giới bên ngoài như các lớp nơron vào và ra.
- Lớp ra: Là lớp nơron tạo các tín hiệu ra cuối cùng.
1.6.2. Mạng nơron hồi quy.
Mạng nơron hồi quy (Recurrent Neural Networks) còn được gọi là mạng phản
hồi (Feedback Networks) là loại mạng tự liên kết thành các vòng và liên kết hồi quy
giữa các nơron. Mạng nơron hồi quy có trọng số liên kết đối xứng như mạng
Hopfield luôn hội tụ về trạng thái ổn định (Hopfild, 1982). Mạng liên kết 2 chiều
(Bidirectional Associative Memory - BAM) là mạng thuộc nhóm mạng nơron hồi
quy gồm hai lớp nơron liên kết tay đôi, trong đó đảm bảo nơron của cùng một lớp
không liên kết với nhau, cũng hội tụ về trạng thái ổn định (Kosko, 1986). Nghiên
cứu mạng nơron hồi quy có trọng số liên kết không đối xứng sẽ gặp nhiều phức tạp
hơn so với mạng truyền thẳng (Feedforward Networks) và mạng hồi quy đối xứng
(Symmetrich Recurrent Neural Networks). Mạng nơron hồi quy có khả năng về
nhận mẫu, nhận dạng các hàm phi tuyến, dự báo ... Một ưu điểm khác của mạng
nơron hồi quy là chỉ cần mạng nhỏ hơn về cấu trúc cũng có khả năng như mạng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
Tải về để xem bản đầy đủ
104 trang
22/08/2024
2820
Bạn đang xem 30 trang mẫu của tài liệu "Luận văn Nghiên cứu ứng dụng mạng nơron Elman nhận dạng vị trí rôbôt hai khâu", để tải tài liệu gốc về máy hãy click vào nút Download ở trên.
File đính kèm:
- luan_van_nghien_cuu_ung_dung_mang_noron_elman_nhan_dang_vi_t.pdf
