Báo cáo Đề tài Hợp tác nghiên cứu phát triển các hệ thống xử lý hình ảnh nhanh trên cơ sở áp dụng công nghệ mạng nơron phi tuyến tế bào
viÖn khoa häc vµ c«ng nghÖ viÖt nam
viÖn c«ng nghÖ th«ng tin
B¸o c¸o tæng kÕt ®Ò tµi nghÞ ®Þnh th−
hîp t¸c nghiªn cøu ph¸t triÓn
c¸c hÖ thèng xö lý ¶nh nhanh trªn c¬ së
¸p dông c«ng nghÖ m¹ng n¬ron
phi tuyÕn tÕ bµo
Chñ nhiÖm ®Ò tµi: PGs. TSKH. ph¹m th−îng c¸t
6730
19/02/2008
hµ néi - 2007
MỤC LỤC
Trang
1. BÁO CÁO KẾT QUẢ KHẢO SÁT, NGHIÊN CỨU MẠNG NƠRON TẾ BÀO VÀ 01
CÔNG NGHỆ XỬ LÝ ẢNH NHANH TRÊN MẠNG NƠRON TẾ BÀO CNN
1.1. Mở đầu
01
03
32
39
39
46
55
71
71
81
86
91
97
97
100
1.2. Mạng nơron tế bào CNN
1.3. Máy tính vạn năng mạng nơron tế bào CNN – UM
1.4. Công nghệ xử lý ảnh nhanh trên nền mạng CNN
1.4.1. Máy tính xử lý ảnh nhanh CNN Bi – I
1.4.2. Hệ phần mềm phát triển Bi – I
1.4.3. Thư viện xử lý ảnh InstantVision
1.5. Một số phương pháp xử lý theo công nghệ mạng CNN
1.5.1. Thiết kế các mẫu (A, B, z) cho mạng CNN
1.5.2. Mô hình hóa phương trình đạo hàm riêng sử dụng mạng CNN
1.5.3. Mô hình mắt nhân tạo sử dụng mạng CNN
1.5.4. Phương pháp xử lý ảnh vân tay sử dụng mạng CNN
1.6. Khả năng ứng dụng của CNN
1.6.1. Khả năng ứng dụng công nghệ CNN trong công nghiệp và các ngành kinh tế
1.6.2. Nhu cầu và tiềm năng ứng dụng công nghệ CNN cho quốc phòng và an ninh
1.7. Một số kết quả chính về nghiên cứu phát triển công nghệ CNN tại Viện MTA SzTAKI 104
Hungary thời gian gần đây
2. XÂY DỰNG CÁC MÔ HÌNH VÀ THỬ NGHIỆM CÔNG NGHỆ XỬ LÝ ẢNH 107
NHANH CNN PHỤC VỤ CHO NGHIÊN CỨU VÀ ĐÀO TẠO
2.1. Mô hình phát tia lửa điện phục vụ cho thí nghiệm thu ảnh tốc độ cao
2.2. Mô hình nhận dạng kiểm tra sản phẩm tốc độ cao phục vụ cho nghiên cứu và đào tạo
2.3. Thí nghiệm kiểm tra nhanh đai ốc đường sắt sử dụng công nghệ CNN
107
120
147
2.4. Thử nghiệm khả năng thu ảnh nhanh các sự kiện thay đổi đột ngột bằng thí nghiệm nổ 153
bong bóng
3. KIẾN NGHỊ PHƯƠNG HƯỚNG PHÁT TRIỂN VÀ ỨNG DỤNG CÔNG NGHỆ Ở 165
VIỆT NAM
4. CÁC ẤN PHẨM ĐÃ CÔNG BỐ
TÀI LIỆU THAM KHẢO
169
170
1.
BÁO CÁO KẾT QUẢ KHẢO SÁT, NGHIÊN CỨU MẠNG NƠRON
TẾ BÀO VÀ CÔNG NGHỆ XỬ LÝ ẢNH TỐC ĐỘ CAO TRÊN CƠ SỞ
MẠNG NƠRON TẾ BÀO
Mạng nơ ron tế bào và công nghệ xử lý ảnh tốc độ cao trên cơ sở mạng nơ ron tế bào là
một lĩnh vực khoa học công nghệ mới ở Việt nam và trên thế giới; có nhiều triển vọng cho nhiều
ứng dụng đột phá. Mục tiêu của nhiệm vụ hợp tác qua đường nghị định thư với Hungary là tiếp
nhận và làm chủ đựợc công nghệ xử lý ảnh nhanh, xử lý song song trên nền mạng nơ ron tế bào.
Phần báo cáo này giới thiệu tóm tắt các kết quả nghiên cứu tiếp cận công nghệ mới mẻ này đã
đạt được của nhiệm vụ.
Mở đầu
Công nghệ xử lý trên cơ sở mạng nơron tế bào CNN (Cellular Neural Networks) đã
được các nhà khoa học Mỹ và Hungary phát minh vào năm 1992 có tốc độ xử lý 1012 phép
tính/giây và được áp dụng cho các hệ thống xử lý ảnh nhanh 10-50000 ảnh/giây. Đây là bước đột
phá về chất do cấu trúc của máy tính xử lý CNN là song song với hàng chục ngàn CPU được kết
nối thành mạng nơ ron trong một chip. Công nghệ này cho phép giải quyết nhiều bài toán xử lý
phức tạp trong thời gian thực mà các máy tính thông thường chưa làm được. Do là một phát
minh mới trên nền tảng mạng nơron, xử lý song song nên hàng loạt các hội nghị quốc tế về CNN
đã được tổ chức trên thế giới thời gian qua và đã tạo nền tảng khoa học cho công nghệ CNN. Với
tốc độ xử lý 1012 phép tính/giây và xử lý ảnh 10-50000 ảnh/giây ranh giới giữa xử lý tín hiệu
tương tự và số không còn nhiều khác biệt.
Các máy tính số sử dụng các bộ vi xử lý với hệ lệnh nối tiếp đã phát triển mạnh trong vài
chục năm nay. Mặc dù có các nỗ lực trong việc cải tiến nguyên lý hoạt động của các bộ vi xử lý
như xử lý ống lệnh (pipeline), siêu luồng (hyper threading) cùng với việc tăng tốc độ xung đồng
hồ làm việc của chip vi xử lý, nhưng tuy vậy về cơ bản vẫn là các bộ xử lý với các hệ lệnh nối
tiếp. Việc giải các phương trình sóng phụ thuộc không gian thời gian nhanh trong khoảng thời
gian rất ngắn (chẳng hạn một vài micro giây) vẫn còn là thách thức với các máy tính tính toán
hiện hành.
Trong nhiều lĩnh vực, yêu cầu về các máy tính có công suất tính toán cực mạnh là rất cấp
thiết, như trong xử lý ảnh động thời gian thực, nhận dạng và định vị đa mục tiêu di động trong an
ninh quốc phòng, kiểm tra chất lượng sản phẩm chuyển động nhanh trên dây chuyền công
nghiệp, xử lý chất lượng ảnh siêu âm trong y tế, chế tạo robot thông minh, chế tạo các thiết bị
không người lái...
Gần đây phần lớn những nhà sản xuất bộ vi xử lý trên thế giới đã nhận thấy một trong
những thách thức lớn cho công nghệ thông tin trong thời gian sắp tới là tạo được một bộ xử lý có
hiệu suất cao và một công nghệ nền để có thể biểu diễn được hình ảnh và video trong thời gian
thực hoặc xử lý những tín hiệu ở cùng một thời điểm nhưng thu được từ những nguồn khác nhau
trong không gian. Cả hai nhiệm vụ này đều liên quan đến tính toán không gian-thời gian. Việc sử
dụng phương trình vi phân đạo hàm riêng rời rạc phi tuyến (Nonlinear Partial Difference
Equation-PDE) có thể giúp cho máy tính thực hiện được những tính toán này đã có một ảnh
hưởng rất lớn. Khả năng lợi dụng những tiềm năng tính toán tương tự theo mảng tín hiệu thay
cho cách tính toán số truyền thống theo dòng bit được đề cập đến như một giải pháp mới. Mô
hình mạng nơron tế bào hay phi tuyến tế bào CNN (Cellullar Neural/Nonliear Network) đã thể
hiện đầy đủ khái niệm, giới thiệu một mô hình tính tóan mới cho quá trình xử lý ma trận hỗn hợp
tín hiệu tương tự và logic. Từ khía cạnh xử lý siêu đẳng kết hợp với khả năng lập trình của CNN
1
đã đưa tới khái niệm máy tính vạn năng tương tự-logic dựa trên mạng nơ ron tế bào (Cellular
Neural Network Universal Machine - CNN-UM). Các CNN-UM thế hệ đầu đã tỏ rõ những ưu
thế mà chưa bộ xử lý số nào đáp ứng được. Các máy tính CNN-UM trong những thế hệ sau
được phát triển theo hướng mở rộng cấu trúc với đặc tính học (learning) và tự thích nghi
(adaptive) sẽ cho chúng ta các máy tính tương tự-logic siêu mạnh và thông minh đủ đáp ứng
nhiều đòi hỏi khắt khe về tính toán và xử lý trong thực tiễn.
Lĩnh vực xử lý ảnh số tĩnh và xử lý ảnh động (video) đã được hình thành và phát triển
vào những thập kỷ đầu của thế kỷ XX. Các phương pháp xử lý ảnh bắt nguồn từ một số ứng
dụng như nâng cao chất lượng thông tin hình ảnh đối với mắt người và xử lý số liệu, nhận dạng
cho hệ thống tự động. Một trong những ứng dụng đầu tiên của xử lý ảnh là nâng cao chất lượng
ảnh báo truyền qua cáp giữa London và New York vào những năm 1920. Thiết bị đặc biệt mã
hóa hình ảnh (báo), truyền qua cáp và khôi phục lại ở phía thu. Cùng với thời gian, do kỹ thuật
máy tính phát triển nên xử lý hình ảnh ngày càng phát triển. Các kỹ thuật cơ bản cho phép nâng
cao chất lượng hình ảnh như làm nổi đường biên và lưu hình ảnh.
Từ năm 1964 đến nay, phạm vi xử lý ảnh và video (ảnh động) phát triển không ngừng.
Các kỹ thuật xử lý ảnh số (digital image processing) đang được sử dụng để giải quyết một loạt
các vấn đề nhằm nâng cao chất lượng thông tin hình ảnh. Và xử lý ảnh số được ứng dụng rất
nhiều trong y tế, thiên văn học, viễn thám, sinh học, y tế hạt nhân, quân sự, sản xuất công nghiệp
…Một ứng dụng rất quan trọng của xử lý ảnh số mà ta không thể không nhắc đến, đó là ứng
dụng xử lý ảnh trong lĩnh vực thị giác máy gắn liền với cảm nhận của máy móc tự động. Trong
đó, quá trình xử lý thông tin hình ảnh và trích ra những thông tin cần thiết cho bài toán nhận
dạng ảnh được sử dụng khá nhiều trong thực tế. Một số vấn đề điển hình ứng dụng kỹ thuật xử
lý ảnh tĩnh và ảnh động như tự động nhận dạng chữ in và chữ viết tay, nhận dạng và bám mục
tiêu trong quân sự, thị giác máy trong công nghiệp để giám sát, điều khiển và kiểm tra sản phẩm
trong dây chuyền sản xuất, tự động nhận dạng vân tay…
Mạng nơron tế bào (Cellular Neural Networks – CNN) là một hệ xử lý song song có rất
nhiều ứng dụng và khái niệm mới trong nhiều lĩnh vực. Chíp nơron tế bào đã thúc đẩy sự ra đời
của các thế hệ máy tính xử lý ảnh có tốc độ xử lý cực nhanh. Một trong số chúng là máy tính Bi-
I của hãng Analogic Computer Ltd sử dụng chip CNN ACE16k có độ phân giải 128x128 pixel.
Máy tính này còn được tích hợp một bộ xử lý tín hiệu số chất lượng cao DSP cung cấp dữ liệu
cho chip CNN và điều khiển hoạt động của chip này. Ngoài ra DSP đóng vai trò quan trọng khi
nhiệm vụ xử lý ảnh chứa một số toán hạng logic. Sau khi toàn bộ quá trình tính toán tiền xử lý
phức tạp (bao gồm một số lượng lớn toán hạng xử lý ảnh) được thực hiện bởi chip CNN, DSP sẽ
hoàn thành nốt nhiệm vụ còn lại. Tức là, chíp CNN sẽ lọc ra khoảng 1% ảnh cần quan tâm, và
DSP sẽ chỉ làm việc trên phần dữ liệu được rút gọn đáng kể này. Hai bộ xử lý chất lượng cao
được tích hợp để tạo ra một hệ thống thị giác cực mạnh tựa sinh học, có khả năng tính toán ảnh
thời gian thực trong các ứng dụng có yêu cầu cao. Bi-I cũng có một bộ xử lý truyền thông hỗ trợ
các giao diện khác nhau, trong đó, giao diện quan trọng nhất là Ethernet 100 Mbit. Chương trình
chạy trên Bi-i được nạp qua Ethernet và máy tính chủ có thể đọc, ghi từ Bi-i qua Ethernet. Ứng
dụng công nghệ mạng nơron tế bào trong xử lý ảnh tốc độ cao (tốc độ xử lý trên 10000 ảnh/giây)
trong công nghiệp đã được nhiều nhóm nghiên cứu trên thế giới triển khai. Ở Việt Nam, lĩnh vực
này còn mới mẻ và chưa được nghiên cứu nhiều.
Báo cáo này nhằm giới thiệu cấu trúc, các tính chất cơ bản của mạng nơron tế bào, máy
tính thị giác Bi-I, các kết quả nghiên cứu đã đạt được và xu thế phát triển của CNN trong giai
đoạn tới. Báo cáo cũng điểm qua các khả năng ứng dụng của công nghệ CNN trong công nghiệp,
trong các lĩnh vực y tế, an ninh và quốc phòng.
2
Mạng nơ ron tế bào CNN
Máy tính số đang tiến dần đến giới hạn vật lý về tốc độ và kính thước. Để vượt qua các
trở ngại này một loại công nghệ tính toán mới dạng "mạng nơron" đã được đưa ra trên cơ sở
chứa một vài cấu trúc của mạng nơron sinh học và được thực hiện trong các mạch điện tích hợp.
Đặc điểm mấu chốt của mạng nơron tế bào là xử lý song song không đồng bộ, động học thời
gian liên tục và ảnh hưởng toàn cục của các phần tử mạng.
CNN được Leon O. Chua và L.Yang giới thiệu năm 1988 [1] [4]. Tư tưởng chung là sử
dụng một mảng đơn giản các tế bào liên kết nhau cục bộ để xây dựng một hệ thống xử lý tín hiệu
analog mạnh.
Khối mạch cơ bản của CNN được gọi là tế bào (tế bào). Nó chứa các phần tử mạch tuyến
tính và phi tuyến bao gồm các tụ tuyến tính, các điện trở tuyến tính, các nguồn điều khiển tuyến
tính và phi tuyến, và các nguồn độc lập. Mỗi một tế bào trong CNN chỉ nối tới các tế bào láng
giềng của nó. Các tế bào liền kề có thể ảnh hưởng trực tiếp lẫn nhau. Các tế bào không có kết
nối trực tiếp có thể tác động đến nhau bởi tác động lan truyền của hệ động lực liên tục của mạng
CNN. Một ví dụ CNN 2 chiều được xem trong Hình 1.
Hình 1. Mạng CNN hai chiều
Về lý thuyết có thể định nghĩa một mạng CNN có nhiều chiều, nhưng ở đây chúng ta
tập trung trong trường hợp mạng CNN hai chiều cho bài toán xử lý ảnh nhanh. Các kết quả có
thể suy diễn dễ dàng trong trường hợp mạng lớn hơn 2 chiều. Hệ động lực của một tế bào của
mạng CNN có thể mô tả trong Hình 2.
3
Hình 2. Sơ đồ khối của một tế bào CNN
Khảo sát một mạng CNN M x N có M*N tế bào sắp xếp trong M hàng và N cột. Chúng
ta gọi tế bào trong hàng i và cột j là tế bào (i,j) và ký hiệu là C(i,j). Láng giềng r của tế bào C(i,j)
trong một mạng CNN được định nghĩa bởi
Nr (i, j) =
C(k,l) max
{
k − i , l − j
}
≤ r,1 ≤ k ≤ M;1 ≤ l ≤ N
(1)
trong đó r là một số nguyên dương (Xem hình 3).
Hình 3. Láng giềng của tế bào C(i,j) với r=1, r=2 và r=3
Thường thường chúng ta gọi láng giềng r=1 là "láng giềng 3x3", láng giềng r=2 là "láng
giềng 5x5", láng giềng r=3 là "láng giềng 7x7". Dễ dàng nhận thấy rằng hệ thống láng giềng
được định nghĩa như trên đưa ra là thuộc tính đối xứng trong ý nghĩa là nếu C(i,j) ∈ Nr(k,l) thì
C(k,l) ∈ Nr(i,j) cho tất cả C(i,j) và C(k,l) trong một mạng CNN.
Một ví dụ tiêu biểu về mạch điện của một tế bào của mạng CNN C(i,j) được mô tả trong
Hình 4.
4
Hình 4. Sơ đồ mạch điện của một tế bào
trong đó u: là tín hiệu đầu vào
x: là tín hiệu trạng thái
y: là tín hiệu đầu ra
Nút điện áp vxij của tế bào C(i,j) là trạng thái của tế bào và điều kiện ban đầu của chúng
được giả định là có độ lớn nhỏ hơn hoặc bằng 1.
Nút điện áp vụij được gọi là đầu vào của tế bào và điều kiện ban đầu của chúng cũng
được giả định là có độ lớn nhỏ hơn hoặc bằng 1.
Nút điện áp uyij là đầu ra. Mạch điện cơ bản của một tế bào CNN gồm có:
+
+
+
+
Một nguồn dòng một chiều
Một tụ tuyến tính C
Hai điện trở tuyến tính RX và RY
Một cặp nguồn dòng được điều khiển qua 2 x m điện áp tuyến tính đến từ các tế bào
láng giềng điện áp đầu vào vukl và hồi tiếp từ điện áp đầu ra vykl của mỗi một tế bào láng giềng
C(k,l); m bằng số tế bào láng giềng.
Đối với C(k,l) ∈ Nr (i,j), Ixy(i,j;k,l) và Ixu(i,j;k,l) là nguồn dòng tuyến tính được điều
khiển bằng điện áp với các đặc điểm:
Ixy(i,j;k,l) = A(i,j;k,l)vykl
Ixu(i,j;k,l) = B(i,j;k,l)vukl
Chỉ có một phần tử phi tuyến trong mỗi một tế bào là phần dòng được điều khiển bằng
nguồn áp:
Iyx = (1/Ry)f(vxyj)
Trong đó hàm f(.) là hàm bão hòa có đặc tính được mô tả trong hình 5.
Hình 5. Đặc tính đầu ra phi tuyến của tế bào
Động lực học của một tế bào CNN được mô tả bằng một hệ phương trình đồng nhất, bao
gồm phương trình trạng thái, phương trình đầu vào, một số điều kiện ràng buộc, và một số thông
số giả định.
5
Phương trình trạng thái:
dvxij (t)
1
C
= −
vxij (t) +
A(i, j;k,l).v
+
B(i, j;k,l).v (t) + I
∑
∑
ukl
ukl
bias
dt
Rx
C(k,l)∈Nr (i, j)
C(k,l)∈Nr (i, j)
1 ≤ i ≤ M; 1 ≤ i ≤ N
(2a)
Phương trình đầu ra:
1
vyij (t) = ( vxij (t) +1 − vxij (t) −1)
2
1 ≤ i ≤ M;1 ≤ j ≤ N
(2b)
(2c)
(2d)
(2e)
Phương trình đầu vào:
vuij (t) = Eij 1 1≤ i ≤ M ; 1≤ j ≤ N
Các điều kiện ràng buộc (Constraint):
1≤ i ≤ M; 1≤ j ≤ N
1≤ i ≤ M; 1≤ j ≤ N
vxij(0) ≤1
vuij ≤1
Các thông số giả định (Assumption):
A(i,j;k,l)=A(k,l;i,j)
C > 0, Rx > 0
1≤ i,k ≤ M 1≤ j,l ≤ N
(2f)
(2g)
Động lực học của các tế bào CNN có cả cơ chế liên hệ ngược (feedback) từ đầu ra và liên
hệ thuận (feedforward) qua đầu vào điều khiển. Ảnh hưởng của đầu ra liên hệ ngược hồi tiếp phụ
thuộc vào trọng số tương tác A(i,j;k,l) và được coi là toán tử liên hệ ngược. Tác động của đầu
vào phụ thuộc vào trọng số B(i,j;k,l) được gọi là toán tử đầu vào.
Một số nhận xét chung:
a)
Tất cả các tế bào(cell) bên trong của mạng nơ ron tế bào có cùng cấu trúc mạch và giá trị
các phần tử trong mạch. Những tế bào bên trong này có (2r+1)2 tế bào lân cận, trong đó r là vùng
lân cận, đã định nghĩa ở trên. Các tế bào khác được gọi là tế bào bao quanh. Mạng nơ ron tế bào
là tập hợp của các phương trình vi phân phi tuyến của các tế bào trong mạng.
b)
Đặc tính động của mạng nơ ron tế bào bao gồm cả hai phần điều khiển đầu vào và phản
hồi đầu ra. Kết quả phản hồi đầu ra phụ thuộc vào trọng số liên kết A(i, j, k, l), kết quả của điều
khiển đầu vào phụ thuộc vào trọng số B(i, j, k, l). Do đó A(i, j, k, l) được coi như toán tử phản
hồi, B(i, j, k, l) là toán tử điều khiển. Ta còn gọi A và B là các mẫu (template) của mạng. Ngòai
ra ngưỡng Ibias còn được ký hiệu là hiệu dịch zi cũng đóng vai trò quan trọng trong đặc tính động
của mạng CNN.
c)
Giá trị của các phần tử trong mạch có thể được chọn tùy ý. Trong thực tế, Rx, Ry xác định
năng lượng tiêu tán trong mạch và thường được chọn trong khoảng 1 kΩ tới 1MΩ. CRx chính là
hằng số thời gian của đặc tính động của mạch, và nó thường được chọn trong khoảng 10-8 tới 10-
5 s.
Chức năng của một CNN sẽ được xác định hoàn toàn khi biết các mẫu phản hồi A, mẫu
điều khiển B và hiệu dịch z. Với CNN tuyến tính bất biến không gian 3x3 đó là bộ 19 số thực
sau
6
⎡
⎢
⎤
⎥
⎥
⎡
⎢
⎤
⎥
a−1,−1 a−1,0 a−1,1
b−1,−1 b−1,0 b−1,1
A = a0,−1 a0,0 a0,1
,
B = b0,−1 b0,0 b0,1 , z
⎢
⎢
⎥
⎢
⎥
⎦
⎢
⎥
a1,−1 a1,0 a1,1
b1,−1 b1,0 b1,1
⎣
⎣
⎦
-
Đối với ứng dụng của CNN trong xử lý ảnh, đầu vào ukl thường là cường độ điểm ảnh của
ảnh ảnh xám kích thước MxN và ta quy định −1≤ ukl ≤ +1 với màu trắng ký hiệu cho –1 và
màu đen ký hiệu cho +1. Các biến khác cũng có thể xem như là các ảnh.
-
Trong trường hợp tổng quát, A, B và z có thể thay đổi theo ij và thời gian t. Tuy nhiên trong
nhiều bài toán, người ta coi chúng bất biến theo thời gian và không gian.
Ta có thể trình bày một tế bào CNN với đầy đủ tác động phản hồi và điều khiển như Hình 6 sau
[3] :
Nguồn điện xy-náp được điều khiển bởi
đầu vào của các tế bào xung quanh
Tổng dòng tại
nút (ij) của C(i,j)
Nguồn điện xy-náp được điều khiển bởi
đầu ra của các tế bào xung quanh
b0-1 u i,j-1
b 01 ui,j+1
b10u i+1,j
a0-1 y i,j-1
a 01 y i,j+1
+
a10y i+1,j
u
ij
x
ij
b u
+
x
ij
ij ij
z
1
ij
-
+
x
ij
a y
Điện áp
ij ij
f(x )
đầu vào
của C(ij)
ij
y
1
ij
Lõi trong
của C(ij)
Dòng ngưỡng
của C(ij)
-
Điện áp
đầu ra
của C(ij)
Điện áp trạng
thái của C(ij)
Hình 6 – Sơ đồ tín hiệu một tế bào CNN
7
Dải đặc tính động của mạng nơ ron tế bào
Trước khi thiết kế mạng nơ ron tế bào, ta cần xác định dải đặc tính động (dynamics
range) để xem nó có thỏa mãn giả thiết rằng buộc của mạng hay không . Vấn đề này đã được
chứng minh trong [1] như sau:
Tất cả các trạng thái vxyj của mỗi tế bào trong mạng nơ ron tế bào được giới hạn tại mọi
thời điểm t >0 và với bất kỳ mạng nơ ron tế bào nào, vmax có thể được tính theo công thức sau:
Các thông số Rx, C, I, A(i, j, k, l) và B(i, j, k, l) là những hằng số có giới hạn, vì vậy trạng
thái của các tế bào có giới hạn trên là vmax và có thể tính theo công thức (3)
Lưu ý:
Trong thiết kế mạch thực tế, ta dễ dàng chọn dải cho các thông số trong mạch để
Rx|I| ≈ 1; Rx|A(i, j, k, l)| ≈ 1; Rx|B(i, j, k, l)| ≈ 1 với mọi i, j, k, l
Ở đây, chúng ta có thể dễ dàng ước lượng giới hạn trên của dải đặc tính động của mạng
nơ ron tế bào. Ví dụ nếu vùng lân cận của mạng nơ ron tế bào là 3x3 thì chúng ta có thể có vmax
≈ 20V, là giá trị trong phạm vi dải nguồn cung cấp thông thường cho các mạch IC CMOS.
Trạng thái ổn định của mạng nơ ron tế bào.
Một ứng dụng quan trọng của mạng nơ ron tế bào là xử lý ảnh. Chức năng cơ bản của
mạng nơ ron tế bào trong quá trình xử lý ảnh là ánh xạ hoặc chuyển hình ảnh đầu vào tương ứng
với hình ảnh đầu ra. Ở đây, chúng ta hạn chế hình ảnh đầu ra là ảnh nhị phân với giá trị điểm ảnh
là –1 và 1. Tuy nhiên hình ảnh đầu vào có thể có nhiều mức xám, cung cấp điện áp tương ứng
thỏa mãn (2e). Điều này cho thấy mạng nơ ron tế bào xử lý ảnh luôn luôn phải hội tụ về trạng
thái ổn định là hằng số sau một thời gian quá độ ngắn khi có ảnh đầu vào .
Để đảm bảo sự hội tụ của mạng nơ ron tế bào ta cần xác định các điều kiện hoặc giới hạn
cần thiết cho sự hội tụ . Ta sẽ khảo sát đặc tính hội tụ và các vấn đề liên quan đến tính hội tụ của
mạng nơ ron tế bào.
Một trong những kỹ thuật hiệu quả cho phân tích đặc tính hội tụ của hệ động lực phi
tuyến là phương pháp ổn định Lyapunov. Chúng ta sẽ định nghĩa hàm Lyapunov cho mạng
nơron tế bào như sau:
(4)
Nhận xét:
a)
Quan sát thấy rằng, hàm Lyapunov E(t) ở trên là hàm phụ thuộc vào đầu vào vu, và đầu
ra vy, là các giá trị điện áp của mạch điện. Mặc dù E(t) không có toàn bộ thông tin về biến trạng
thái vxij, nhưng chúng ta cũng có thể nhận được trạng thái ổn định của các biến trạng thái từ đặc
tính E(t).
8
b)
Hàm Lyapunov E(t) định nghĩa ở trên có thể hiểu như một hàm “năng lượng” của mạng
nơ ron tế bào, mặc dù ý nghĩa vật lý chính xác của nó không được rõ ràng cho lắm. Như ở định
lý 2 sau đây sẽ cho thấy E(t) luôn luôn hội tụ tới điểm cực tiểu, mà mạng nơ ron tế bào tạo ra
đầu ra theo yêu cầu.
Hàm E(t) được định nghĩa ở (4) được giới hạn [1] bởi
(5a)
Trong đó:
(5b)
Bằng việc lấy đạo hàm phương trình (4) với biến thời gian t, và sau khi biến đổi ta có
(6)
Hoặc nói cách khác ta có hàm E(t) được là một hàm giảm đều.
Như vậy với bất kỳ đầu vào vu và trạng thái ban đầu vx của mạng nơ ron tế bào, chúng ta
sẽ có:
(7a)
(7b)
Sau khi mạng nơ ron tế bào ổn định, chúng luôn đạt được đầu ra dc là hằng số. Nói một
cách khác ta có:
(8a)
hoặc
(8b)
Theo [1] nếu thông số của mạch thỏa mãn điều kiện:
(9)
thì mỗi tế bào của mạng nơ ron tế bào sẽ đi đến điểm cân bằng bền sau một thời gian quá độ.
Tuy nhiên, biên độ của tất cả các điểm cân bằng bền đều lớn hơn 1 , nói cách khác ta có:
(10a)
(10b)
9
Nhận xét:
a)
Vấn đề này rất có ý nghĩa cho mạng nơ ron tế bào bởi vì nó bảo đảm mạch điện sẽ
không dao động hoặc rơi vào trạng thái hỗn loạn.
b)
này quyết định cho việc giải quyết bài toán phân loại trong ứng dụng xử lý ảnh.
c) Từ A(i, j, k, l) tương ứng với phản hồi từ đầu ra của tế bào C(i, j) tới đầu vào của nó, điều
Phương trình (10) bảo đảm mạng nơ ron tế bào có đầu ra là giá trị nhị phân. Đặc tính
kiện (9) quy định số nhỏ nhất các tín hiệu phản hồi dương để chắc chắn rằng trạng thái đầu ra ổn
định của mỗi tế bào là +1 hoặc –1. Chú ý rằng, điều kiện này luôn luôn bị xâm phạm ở mạng nơ
ron Hopfield ngay cả khi tất cả các hệ số đường chéo là 0. Để bảo đảm đầu ra nhị phân đồng
dạng ± 1 thì cần phải chọn độ dốc lớn lý tưởng (vô tận) trong vùng tuyến tính của hàm phi tuyến
f(.) như trong hình 4. Slope tương ứng trong mạng nơ ron tế bào luôn luôn được chọn bằng 1.
Ví dụ mô phỏng mạng nơ ron tế bào đơn giản.
Ta khảo sát một ví dụ đơn giản để minh họa mạng nơ ron tế bào họat động thế nào.
Mạng nơ ron tế bào lấy ví dụ trong mục này được cho trong hình 1. Kích thước mạng là
4x4, Các phần tử trong mạch của tế bào C(i, j) được chọn như sau:
Với bất kỳ C(k, l) ∈ NR(i, j) và r=1 cho các trọng liên kết 3x3 (xem hình 2) có số liệu
như sau:
Với B(i, j, k, l) =0, những hệ số 3x3 A(i, j, k, l) xác định quỹ đạo của mạng nơ ron tế bào
trong thời gian. Chúng ta có thể sắp xếp các hệ số theo dạng ma trận và nó được gọi là mẫu
(cloning template) thể hiện đặc tính động của mạng nơ ron tế bào như sau:
Đơn vị của những mẫu liên kết ở đây là 10-3 Ω-1
10
Phương trình động lực của mạng nơ ron tế bào tương ứng với các thông số ở trên có dạng
như sau:
(11a)
(11b)
Để thuận tiện phương trình (11a) có thể viết như sau:
1
dvxij (t)
⎡
⎣
⎤
⎦
= −106 vxij (t) + 106 1 2 1 ⊗ vyij (t)
(12)
⎢
⎥
1
dt
123
T
Ở đây toán tử tích chập 2-D (two-demensional convolution operator) ⊗ được định nghĩa
như sau:
T ⊗ vyij =
T
k −i,l − j
)
vkl
(13)
∑
C(k,l)∈N (i, j)
Trong đó T(m, n) chỉ rõ hàng thứ m và cột thứ n của ma trận T, m =-1, 0, 1 và n =-1, 0, 1.
Ở định nghĩa trên A(i, j, k, l) chỉ phụ thuộc vào i và j của mạng nơ ron tế bào. Đặc tính
này được gọi là hệ bất biến theo không gian (space invariant), và nó gợi ý rằng A(i, j, k, l) có thể
biểu đạt như A(k-i, l-j). Điều này cho phép chúng ta chỉ rõ đặc tính động (dynamic rules) của
mạng nơ ron tế bào bằng việc sử dụng ma trận liên kết.
Để xác định trạng thái trong thời gian quá độ của (11a), chúng ta cho điện áp khởi đầu
vxij(0) qua tụ điện của mỗi tế bào C(i, j). Mỗi giá trị điện áp khởi đầu có thể được chỉ định điện
áp bất kỳ nào giữa –1 và 1 như quy định trong (2d).
Mô phỏng mạch điện này chúng ta có thể nhận được đáp ứng trong thời gian quá độ
ngắn của mạng CNN.
Ta mô phỏng tính xử lý nhanh của mạng nơ ron tế bào ở trên với điều kiện ban đầu như
trong các mảng ở Hình 7a [1]. Biến trạng thái của mạch vx tại thời điểm t = 5 μS nhận được như
trong hình 7(b). Giá trị tuyệt đối lớn nhất của biến trạng thái tại t = 5μS bằng 6. Giới hạn cao
hơn vmax của vx được tính toán từ phương trình (3) của định lý 1 bằng 7.
11
Hình 7. Mô phỏng với mạng nơ ron tế bào 4x4.
a) Giá trị ban đầu của các biến trạng thái.
b) Giá trị ổn định của các biến trạng thái
c) Giá trị ổn định của các đầu ra
d) Quỹ đạo của mạch tế bào C(2,2)
Đầu ra tương ứng vy tại thời điểm t = 5 μS như trong Hình 7(c). Quan sát thấy rằng tất cả
các biến đầu ra là biến nhị phân, là 1 hoặc –1, như dự đoán (điều kiện A(i, j, k, l) >1/Rx là thỏa
mãn).
Quá trình quá độ của trạng thái của một tế bào C(2,2) được mô tả trong hình 7(d). Giá trị
khởi đầu của biến trạng thái bằng 1.0 và giá trị tại thời điểm t = 5 μS bằng 2.02. Giá trị lớn nhất
của vx22(t) bằng 3 và xảy ra xấp xỉ tại t = 0.8μS. Khi biến trạng thái giữ trên 1.0 thì đầu ra tương
ứng luôn là hằng số và bằng 1 như hình 4.
Trạng thái cân bằng ổn định tế bào (stable cell equilibrium state) v*xij của một tế bào
chuẩn trong mạng nơ ron tế bào được định nghĩa như biến trạng thái vxij của tế bào C(i, j), và nó
thỏa mãn:
(14)
Trạng thái cân bằng ổn định tế bào thực sự đạt được bởi mỗi tế bào, phụ thuộc vào trạng
thái ban đầu của nó và của những tế bào lân cận nó.
Sau đây chúng ta sẽ tập trung vào đặc tính động chung của mạng CNN chuẩn.
“Điểm cân bằng ổn định hệ thống của mạng nơ ron tế bào được định nghĩa là 1 véc tơ
trạng thái với tất cả những thành phần của nó bao gồm những trạng thái cân bằng ổn định của
mỗi tế bào”
12
Với định nghĩa trên cho thấy rằng mạng nơ ron tế bào chuẩn luôn luôn ở tại một điểm
cân bằng ổn định hệ thống sau thời gian ngắn rời khỏi trạng thái 0. Đáp ứng của mạng nơ ron tế
bào đơn giản là quỹ đạo đi từ một vài điểm khởi đầu và kết thúc tại điểm cân bằng của hệ thống.
Như vậy bất kỳ điểm cân bằng ổn định hệ thống của mạng nơ ron tế bào là điểm tới hạn của tập
các quỹ đạo của đáp ứng phương trình vi phân (2), giống như điểm tới hạn hấp dẫn có vùng hấp
dẫn, hay tập hợp các quỹ đạo hội tụ về điểm này. Vì thế, không gian trạng thái của mạng nơ ron
tế bào có thể được phân cắt bằng tập trong vùng lòng chảo tập trung quanh điểm cân bằng ổn
định hệ thống.
Sự ổn định của mạng nơ ron tế bào chuẩn được chứng minh bằng toán học chặt chẽ trong
các tài liệu [2], [3].
Tóm lại, mạng nơ ron tế bào xử lý tín hiệu bằng việc ánh xạ chúng từ một không gian tín
hiệu này sang một không gian khác. Mạng nơ ron tế bào có thể ánh xạ trạng thái khởi tạo ban
đầu của hệ thống tới một trong nhiều điểm cân bằng ổn định hệ thống riêng biệt. Nếu trạng thái
ban đầu là [-1.0, 1.0]MxN và không gian đầu ra là [-1, 1]MxN, thì ánh xạ động F có thể được định
nghĩa như sau:
F: [-1.0, 1.0]MxN -> {-1, 1}MxN
( 15)
điều này có nghĩa là ánh xạ F có thể sử dụng như phân cắt không gian tín hiệu liên tục sang vùng
hấp dẫn của những điểm cân bằng ổn định hệ thống qua xử lý động.
Đặc tính động của mạng nơ ron tế bào với toán tử điều khiển B(i, j, k, l) =0 và toán tử
phản hồi khác không A(i, j, k, l) ≠ 0 là sự gợi lại về họat động của ô tô mát tế bào 2D. Cả 2
chúng đều có khả năng xử lý tín hiệu song song và dựa trên những luật động tương tác lẫn nhau
giữa tế bào và những tế bào lân cận gần nhất.
Sự khác nhau căn bản giữa mạng nơ ron tế bào và ô tô mát tế bào chính là đặc tính động
của nó. Mạng CNN là hệ động lực thời gian liên tục, còn ô tô mát tế bào là hệ động lực rời rạc
theo thời gian. Cả 2 hệ thống đều có những điểm tương tự nhau, chúng ta có thể sử dụng lý
thuyết ô tô mát tế bào để khảo sát về hoạt động trạng thái ổn định của mạng nơ ron tế bào. Một
điểm khác biệt giữa chúng là trong khi mạng nơ ron tế bào chuẩn sẽ luôn luôn đạt tới điểm cân
bằng bền, còn ô tô mát tế bào luôn luôn kèm với các quá trình động phong phú hơn như quá
trình hỗn loạn, giao động tuần hoàn và những hiện tượng phức tạp khác.
Tuy nhiên chúng ta đã thuần hóa mạng nơ ron tế bào chuẩn bằng việc chọn hàm phi
tuyến sigmoid. Nếu chúng ta chọn các đặc tính phi tuyến khác có thể có nhiều hiện tượng động
học phức tạp sẽ xảy ra trong mạng nơ ron tế bào do tính chất phi tuyến của nó.
CNN bất biến không gian
Do các ứng dụng CNN chủ yếu chỉ sử dụng các CNN chuẩn bất biến không gian với các
láng giềng 3x3 (r = 1) nên ta xem xét thêm vai trò của 2 toán tử A, B và ngưỡng z trong mạng
CNN.
a. Vai trò của toán tử phản hồi A(i,j,k,l)
Nhờ tính bất biến không gian, ta có thể viết:
A(i, j,k,l)y =
A(k − i,l − j)y
∑
∑ ∑
ij
ij
C(k,l)∈Sr (i,j)
k−i ≤1 l−j≤1
13
= a−1,−1yi−1, j−1 + a−1,0 yi−1, j + a−1,1yi−1, j+1
+a0,−1yi,j−1 + a0,0yi,j + a0,1yi,j+1
(16)
+a1,−1yi+1, j−1 + a1,0 yi+1, j + a1,1yi+1, j+1
1
1
=
a y
k,l i+k,j+l
∑∑
k=−1l=−1
Trong đó am,n=A(m,n)
a-1,-1
a0,-1
a-1,0
a0,0
a-1, 1
a0, 1
yi-1,j-1 yi-1,j yi-1,j+1
yi,j-1 yi,j yi,j+1
yi+1,j-1 yi+1,j yi+1,j+-1
Δ
⊗
= A ⊗ Yij
=
a1,-1
a1,0
a1, 1
Ở đây, ma trận A được gọi là mẫu phản hồi, và dấu ⊗ là ký hiệu cho tổng các tích vô
hướng. Trong toán rời rạc, phép toán này được gọi là “spatial convolution”. Ma trận 3x3 của Yij
trong (16) có thể có được bằng cách di chuyển một mặt nạ mờ với một cửa sổ 3x3 vào vị trí (i,j)
của ảnh đầu ra Y, nên nó được gọi là ảnh đầu ra ở vị trí C(i,j).
Một phần tử akl được gọi là trọng số trung tâm của A nếu và chỉ nếu (k,l)=(0,0). Ngược
lại, nó được gọi là phần tử vòng ngoài.
Đôi khi, để tiện dụng, người ta viết lại A như sau:
A = A0 + A
⎡
⎢
⎤
⎥
⎥
0
0
0
0
0
a−1,−1 a−1,0 a−1,1
⎡
⎢
⎤
⎥
⎥
A0 = 0 a00
A = a0,−1
0
a0,1
(17)
⎢
⎢
⎢
⎥
⎢
⎥
⎦
0
0
a1,−1 a1,0 a1,1
⎣
⎣
⎦
Với A0 và A được gọi là các mẫu phần tử trung tâm và vòng ngoài.
b. Vai trò của toán tử điều khiển B(i,j,k,l)
Tương tự như trên, ta có thể viết:
B(i, j,k,l)u =
B(k − i,l − j)u
∑
∑ ∑
kl
kl
C(k,l)∈Sr (i,j)
k−i ≤1 l−j≤1
1
1
=
b u
(18)
∑∑
kl i+k,j+l
k=−1l=−1
b-1,-1
b0,-1
b-1,0
b0,0
b-1, 1
ui-1,j-1 ui-1,j ui-1,j+1
ui,j-1 ui,j ui,j+1
ui+1,j-1 ui+1,j ui+1,j+-1
Δ
⊗
b0, 1
b1, 1
= B ⊗ Uij
=
b1,-1
b1,0
14
Trong đó, ma trận B được gọi là feedforward hoặc mẫu đầu vào. Uij là ảnh đầu vào được
đặt mặt nạ.
Ma trận B cũng có thể được biểu diễn thành:
B = B0 + B
(19)
⎡
⎢
⎤
⎥
⎥
0
0
0
0
0
b−1,−1 b−1,0 b−1,1
⎡
⎢
⎤
⎥
⎥
B0 = 0 b00
B = b0,−1
0
b0,1
⎢
⎢
⎢
⎥
⎢
⎥
⎦
0
0
b1,−1 b1,0 b1,1
⎣
⎣
⎦
Với B0 và B được gọi là các mẫu feedforward trung tâm và vòng ngoài.
c.
Vai trò của ngưỡng z
Theo phân tích ở trên, ta có thể viết lại phương trình trạng thái của tế bào CNN như sau
.
xij = −xij + A⊗ Yij + B ⊗Uij + z
(20)
Hay đơn giản hoá thành dạng sau:
.
xij = − xij + a00 f (xij ) + _A_ ⊗ Yij + B ⊗ Uij + z
(21)
1442443 14444244443
g(xij
)
wij (t)
Và hàm
hij(xij,wij) = g(xij) + wij(xij,t)
(22)
được gọi là hàm nhịp độ (rate function), g(xij) được gọi là thành phần điểm truyền động (DP –
driving point) bởi vì nó liên quan chặt chẽ đến khái niệm của lý thuyết mạch phi tuyến, và
−
wij (xij ,t) = A⊗ Yij + B ⊗Uij + z được gọi là mức bù (offset level).
Ba lớp CNN đơn giản
Mỗi CNN được xác định duy nhất bởi ba mẫu A,B,z . Đây cũng chính là các trọng số
liên kết của mạng nơ ron tế bào. Với CNN 3x3 (r=1) bộ ba này bao gồm 19 số thực. Do tập số
thực là không đếm được nên có vô hạn mẫu CNN khác nhau, trong số chúng, 3 lớp CNN sau là
đơn giản nhất và dễ tính toán nhất.
Trọng số liên kết kích thích và kiềm chế
Một trọng số liên kết phản hồi akl được gọi là kích thích (hoặc kiềm chế) nếu và chỉ nếu
nó là dương (hoặc âm). Một trọng số liên kết là kích thích (hoặc kiềm chế) bởi vì nó làm cho
hàm nhịp độ hij(xij,wij) ngày càng dương hơn (hoặc ít dương đi) đối với đầu vào dương, và từ
.
đó tăng (hoặc giảm) giá trị xij tức là tốc độ tăng của xij(t) . Một CNN bất biến không gian
ζ (A,B,z) với láng giềng 3x3 có thể được biểu diễn theo sơ đồ sau
15
Dòng tín hiệu của CNN với láng giềng 3x3.
Sơ đồ cấu trúc của một tế bào C(i,j)
Hình 8 - CNN bất biến không gian ζ (A,B,z) với láng giềng 3x3
Lớp CNN phản hồi không (Zero-feedback, feedforward)
Một CNN thuộc lớp phản hồi không (Zero-feedback) ζ (0,B,z) nếu và chỉ nếu mọi
phần tử của mẫu phản hồi đều là 0, tức là A ≡ 0 .
Mỗi tế bào của CNN phản hồi không được mô tả như sau:
.
xij = −xij + B ⊗ Uij + z
(23)
16
Cấu trúc dòng tín hiệu của CNN phản hồi không với láng giềng 3x3.
ij
ij
ij
ij
Hình 9 – Cấu trúc tế bào CNN phản hồi không (Zero-feedback)
Lớp CNN đầu vào không (Zero-input, Autonomous) ζ (A,0,z)
Một CNN thuộc lớp đầu vào không (Zero-input) ζ (A,0,z) nếu và chỉ nếu tất cả các
thành phần của mẫu điều khiển đều là 0, tức B ≡ 0.
Mỗi tế bào của lớp này được mô tả như sau:
.
xij = −xij + A⊗ Yij + z
(24)
Cấu trúc dòng mảng tín hiệu của một CNN đầu vào không với láng giềng 3x3
17
Hình 10 – Cấu trúc tế bào của CNN đầu vào không (Zero-input)
Lớp CNN không liên kết ζ (A0,B,z)
Một CNN thuộc về lớp không liên kết ζ (A0,B,z) nếu và chỉ nếu aij = 0, i ≠ j, tức là
A = 0 . Mỗi tế bào thuộc lớp CNN không liên kết được mô tả bởi một phương trình vi phân
thường, phi tuyến, vô hướng mà không ghép với các láng giềng của nó:
.
xij = −xij + a00 f (xij ) + B ⊗ Uij + z
(25)
Cấu trúc dòng mảng dữ liệu của một CNN không liên kết với láng giềng 3x3.
18
Hình 11 - Cấu trúc tế bào của mạng CNN không liên kết
Động lực học của mạng nơ ron tế bào phi tuyến và có trễ
Trong một CNN tổng quát phi tuyến và có trễ, thay cho các nguồn dòng tuyến tính
xy(i,j;k,l)=A(i,j;k,l)Vykl và Ixu(i,j;k,l)=B(i,j;k,l)Vukl trong tế bào Ci,j là các nguồn dòng phi tuyến và
I
trễ được định nghĩa như sau
τ
ˆ
A v ,v + A v t −τ
)
(
)
ij;kl
ykl
yij
ij;kl ykl
τ
ˆ
B v ,v + B v t −τ
(
ij;kl
ukl
uij
ij;kl ukl
Tức là thay vì có các mẫu A và B của các CNN chuẩn (trình bày trong phần 1) trước đây,
chúng ta có các nguồn dòng phi tuyến và/ hoặc có trễ. Cấu trúc của tính chất phi tuyến trong các
mẫu cũng rất quan trọng: đó là hàm của nhiều nhất là hai biến, cụ thể đó là điện áp đầu ra của tế
bào Ci,j và của tế bào lân cận. Ngoài ra điện áp đầu ra của tế bào có thể nhận khoản giá trị rộng
hơn so với CNN chuẩn tức là −K ≤Vyi, j ≤ +K (thay vì nằm trong khoảng -1,+1).
Với các nguồn dòng phi tuyến, có trễ này, ta viết lại hệ phương trình (2) của CNN như sau:
-
Phương trình trạng thái:
•
ˆ
C vxij = − 1 R v t + I +
Aij;kl v t ,v t
ykl ( ) ( )
(
x ) ( )
(
)
∑
xij
yij
Ckl∈Nr ij
( )
ˆ
+
+
B
v t ,v t
ukl ( )
( )
(
)
∑
ij;kl
uij
Ckl∈Nr ij
( )
(26a)
Aτ v t −τ +
Bτ v t −τ
(
)
(
)
∑
∑
ij;kl ykl
ij;kl ukl
Ckl∈Nr ij
( )
Ckl∈Nr ij
( )
Trong đó Â, B^ và Aτ , Bτ tương ứng với các mẫu phi tuyến và trễ. Âi,j,k,l, B^i,j,k,l là các
hàm phi tuyến của nhiều nhất là hai biến. Aτi,j,k,l và Bτi,j,k,l là các số thực.
Ví dụ với d1=c1(exp(vy k,l)-1), d2=c2(vykl-Vyi,j), các mẫu có thể được trình bày như sau:
0
d1
2
0
d1
0
0
0
0
⎡
⎢
⎤
⎥
⎥
⎡
⎢
⎤
⎥
⎥
ˆ
ˆ
A = d1
B = d2 1 d2
⎢
⎢
⎢
⎥
⎦
⎢
⎥
⎦
0
d1
0
0
0
⎣
⎣
19
- Phương trình đầu ra không nhớ:
v t = f v t
yij ( )
( )
(
)
(26b)
xij
Hàm f(.) là hàm tuyến tính từng đoạn tương tự như phương trình đầu ra của CNN chuẩn.
Trong nhiều trường hợp người ta cho đầu ra có phương trình động lực riêng của mình:
•
vyij = −v + f v t
Trong đó f(x) có thể được tính như sau:
( )
(
)
(26c)
yij
xij
0, x < 0
⎧
⎪
f x = x ,0 ≤ x ≤1
( )
⎨
⎪
1, x >1
⎩
-
-
Phương trình đầu vào
vuij = Eij
(26d)
(26e)
Điều kiện
vxij 0 ≤1, v ≤1
( )
uij
-
Thông số
K ≥ 0,C ≥ 0, Rx > 0,τ ≥ 0
(26f)
Hệ phương trình 26 là hệ phương trình của CNN phi tuyến, có trễ.
Chú ý: Trong trường hợp Âi,j,k,l, B^i,j,k,l là các hàm tuyến tính (một biến) và τ=0, hoặc
ˆ
A = A vykl
ij;kl
ij;kl
(27)
ˆ
B = B v
ij;kl
ij;kl ukl
và . Aτi,j,k,l =0 và Bτi,j,k,l =0 ta nhận lại được hệ CNN chuẩn (tuyến tính bất biến không gian).
Giá trị giới hạn của CNN phi tuyến, có trễ
Với CNN được mô tả bởi các mẫu giới hạn (nhưng không giữ trễ) và đầu ra của tế bào
được biểu diễn theo 26b (hàm tuyến tính từng đoạn không nhớ), tất cả các giá trị trạng thái Vx i,j
bị giới hạn tại mọi thời điểm t>0 và giá trị Vmax có thể tính được theo công thức sau:
⎡
⎢
⎤
⎥
ˆ
ij;kl
ˆ
vmax =1+ R I + R K max
max A + max Bij;kl
∑
(
)
X
X
C ∈N ij
⎢
⎣
⎥
⎦
(
)
kl
r
1≤ i ≤ M,1≤ j ≤ N
(28)
Định đề này và một số ví dụ về khảo sát tính ổn định của hệ CNN phi tuyến có trễ được
chứng minh trong [3].
Hỗn độn trong mạng nơ ron tế bào [2]
Trong đa số các ứng dụng CNN, các mẫu phản hồi và điều khiển thường không phụ
thuộc vào trạng thái ban đầu, đầu vào và điều kiện biên. Sau thời gian quá độ trạng thái và đầu ra
hội tụ về một giá trị cân bằng dc nào đó. Những CNN như thế được coi như ổn định hoàn toàn.
20
Tuy nhiên, không phải mọi mẫu CNN đều dẫn đến sự ổn định. Trên thực tế, một vài mẫu CNN
sẽ dẫn tới trạng thái dao động theo chu kỳ, một số khác thậm chí còn có hiện tượng chuyển tiếp
không ngừng (không theo chu kỳ) gọi là hỗn độn (chaos).
Các ứng dụng CNN hiện nay đa số đều cần đến giá trị đầu ra ổn định, tuy nhiên rất có thể
sau này người ta sẽ khai thác những tiềm năng to lớn của các loại CNN hoạt động hỗn độn và
dao động mà nay còn chưa được sử dụng. Ta hãy khảo sát tính dao động và hỗn độn của mạng
CNN qua một số ví dụ sau:
Ví dụ về CNN 2 tế bào dao động
Xét một CNN 2 tế bào đặc trưng bởi điều kiện biên 0 với mẫu:
0 0
0
0 0 0
⎡
⎢
⎤
⎥
⎥
⎡
⎢
⎤
⎥
⎥
A = β α −β
B = 0 0 0
z = 0
(29)
⎢
⎢
⎢
⎥
⎦
⎢
0 0 0
⎥
⎦
0 0
0
⎣
⎣
CNN (M=1,N=2) này có trọng số liên kết phản hồi a0,−1 = β , a0,0 =α , a0,1 = −β và
có thể biểu diễn bởi đồ thị luồng tín hiệu trong hình 12
(a)
(b)
Hình 12: a) 1x2 CNN cùng các tế bào biên với điều kiện biên 0,
y00 = y01 = y02 = y03 = y10 = y13 = y20 = y21 = y22 = y23 = 0.
b) Đồ thị luồng dữ liệu tương ứng.
Phương trình trạng thái cho CNN này là:
.
x1 = −x1 + αy1 − βy2
.
(30)
x2 = −x2 + αy2 − βy1
Dạng sóng nghiệm của phương trình (30) tương ứng với α = 2,β = 2 và điều kiện đầu
x1(0) = 0.1, x2 (0) = 0.1 được thể hiện trên hình vẽ 13a và 13b. Ta thấy rằng thay vì hội tụ
đến một điểm cân bằng dc thì các biến trạng thái x1 và x2 lại hội tụ về dạng sóng tuần hoàn, tính
tuần hoàn của CNN này được thể hiện rõ hơn qua đồ thị quỹ đạo trong mặt phẳng x1-x2 như
trong hình 13c. Mỗi điểm trên quỹ đạo xuất phát từ trạng thái đầu (x1,x2 ) = (0.1,0.1) ở thời
điểm t = 0 đồ thị trong hình 13c sẽ được tham số hoá theo thời gian nhưng không thể hiện trên
hình bởi vì chúng ta chỉ quan tâm đến quan hệ giữa x1(t) và x2(t) khi t → ∞ , quỹ đạo này gọi là
21
một closed contour hoặc một chu kỳ giới hạn. Do quỹ đạo từ (0.1, 0.1) không hội tụ về một điểm
cân bằng nên CNN này không là ổn định hoàn toàn.
22
Hình 13- Dạng sóng nghiệm tuần hoàn của x1(t) và x2(t) và quỹ đạo tương ứng trong
trường hợp α = 2,β = 2,x1(0) = 0.1,x2 (0) = 0.1
Ví dụ CNN hỗn độn với 2 tế bào và 1 đầu vào dạng sin
π
Giả sử chúng ta áp dụng một đầu vào dạng sin: u11(t) = 4.04sin( t) đối với tế bào
2
C(11) của CNN 2 tế bào như hình 12 và chọn α = 2,β =1.2 . Ở đây, cũng với điều kiện biên 0,
ta có phương trình trạng thái các tế bào sau:
.
π
2
x1 = −x1 + 2y1 − 1.2y2 + 4.04sin( t)
(31)
.
x2 = −x2 + 1.2y1 + 2y2
Hệ phương trình này là phương trình trạng thái của CNN 1x2 với khuôn mẫu:
0
0
0
0 0 0
⎡
⎢
⎤
⎥
⎥
⎡
⎢
⎤
⎥
⎥
A = 1.2 2 −1.2
B = 0 1 0
z = 0 (32)
⎢
⎢
⎢
⎥
⎦
⎢
0 0 0
⎥
⎦
0
0
0
⎣
⎣
Với điều kiện biên 0, đầu vào dạng sin u11(t) đối với C(11) và đầu vào u12 = 0 đối với tế
bào C(12). Dạng sóng nghiệm x1(t) và x2 (t) tương ứng với điều kiện đầu x1(0) = 0.1 và
x2 (0) = 0.1 được thể hiện trên hình 14a và 14b. Ta thấy rằng khác với dạng nghiệm tuần hoàn
trước đây, hai dạng nghiệm này không hội tụ tới một dạng tuần hoàn khi t → ∞ . Trên hình 14c
ta thấy quỹ đạo giống như là cuộn chỉ rối không đầu. Hình 15a, 15b thể hiện phổ năng lượng
23
X1(ω) của x1(t) và X2 (ω) của x2(t). Chúng có đặc trưng dạng nhiễu, liên tục, dải rộng khác
với tín hiệu tuần hoàn chỉ chứa các đường rời rạc tương ứng với các thành phần điều hoà của
khai triển Fourier của nó. Dạng nhiễu ở hình 14a, 14b được gọi là hỗn độn (chaotic), và quỹ đạo
liên đới được gọi là quỹ đạo hấp dẫn lạ thường (strange attractor) do các nghiệm khác tương
ứng với điều kiện đầu lân cận sẽ bị hút vào và hội tụ về cùng một quỹ đạo này.
24
Hình 14 - Dạng nghiệm hỗn độn của x1(t) và x2(t) và quỹ đạo tương ứng với trường hợp
α = 2,β = −1.2,x1(0) = 0.1,x2 (0) = 0.1
25
Hình 15- Phổ năng lượng tần số tính toán số học từ nghiệm hỗn loạn x1(t) và x2(t)
Mặc dù quỹ đạo hấp dẫn lạ thường ở hình 14c trông cực kỳ lộn xộn, nó lại mang một cấu
trúc hình học có trật tự nào đó. Trong trường hợp đầu vào tuần hoàn như ví dụ trên, nếu ta lấy
mẫu từng điểm trên quỹ đạo trong mỗi chu kỳ của đầu vào thì ta được một tập hợp điểm gọi là
mặt cắt Poincare, hoặc đơn giản là bản đồ Poincare. Trong ví dụ này, chu kỳ đầu vào sin là
T=4. Như vậy, nếu ta vẽ (x1(t), x2(t)) trên phẳng x1-x2 ở các thời điểm t=0,4,8,12,16,... thì ta sẽ
có được quỹ đạo hấp dẫn lạ thường như hình 16, thường được gọi là quý đạo hấp dẫn giầy nữ.
Hình 16 - Bản đồ Poincare trích xuất từ quỹ đạo hấp dẫn lạ thường ở hình 13c được gọi là “ hấp
dẫn giầy nữ”
26
Rẽ nhánh và hỗn độn trong CNN.
Ta hãy xem xet một CNN với 3 tế bào được mô tả bởi hệ phương trình trạng thái sau:
x' + x = p f x − sf x − sf x
( )
( )
( )
( )
( )
1
1
1
1
2
3
x' + x = −sf x + p f x − rf x
(33)
( )
( )
2
2
1
2
2
3
x' + x = −sf x + rf x + p f x
( )
(
)
3
3
1
2
3
3
Với p1>1, p2>1, p3>1, r, s>0, đầu vào u=0 và độ dịch I = 0. Hàm đầu ra là được tính theo
công thức
1
2
y = f x =
x +1 − x −1 ,i =1,2,3.
(34)
( )
(
)
i
i
i
i
Với CNN tự sinh (autonomous) 3 tế bào được mô tả bởi hệ động lực (33), (34) ta có:
i)
Với |xi|>1 và pi>1, s,r>0, i=1,2,3 tất cả các điểm cân bằng của CNN là bền vững.
Hơn thế, bất kỳ quỹ đạo nào trong vùng này đều tiệm cận về điểm cân bằng vững
tương ứng.
ii)
Với |xi|<1 và pi>1, i=1,2,3 tất cả các điểm cân bằng của CNN đều không ổn định
Hình vẽ sau biểu diễn quỹ đạo hấp dẫn lạ thường của CNN này với các thông số p1=1,25;
p2=1,1; p3=1; s=3,2; r=4,4 và giá trị ban đầu x(0)=(0,1;0,1;0,1)
Hình 17: Quỹ đạo hấp dẫn lạ thường của CNN (3.3) với p1=1,25; p2=1,1; p3=1; s=3,2; r=4,4 và
giá trị ban đầu x(0)=(0,1;0,1;0,1)
Mạng nơ ron tế bào nhiều lớp
Thay vì chỉ có một biến trạng thái trong trường hợp lớp đơn thì ở mạng nơ ron tế bào
nhiều lớp có nhiều biến trạng thái trong mỗi tế bào. Khái niệm nổi bật ở đây chính là các mối
27
tương tác của các biến trạng thái trong cùng 1 lớp. Để tránh sự hỗn loạn, ta sử dụng toán tử tích
chập * để viết 2(a) sang dạng:
Với mạng nơ ron tế bào nhiều lớp, phương trình động lực của một tế bào có thể biểu diễn
theo dạng sau:
Ở đây m là số các biến trong mạch nhiều lớp tế bào.
Quan sát thấy rằng C và R là ma trận đường chéo, A và B là ma trận tam giác.
Nhận xét:
a)
Với mạng nơ ron tế bào nhiều lớp, tất cả các kết quả giới thiệu ở trên vẫn đúng. Trạng
thái ổn định có thể chứng minh từ lớp cuối cùng (lớp 1) tới lớp trên cùng bằng việc sử dụng cấu
trúc tam giác của ma trận A và B.
b)
Có nhiều biến trạng thái trong mạch tế bào, chúng ta có thể chọn nhiều đặc tính động
đồng thời cho nhiều biến trạng thái khác nhau. Đặc điểm này làm cho mạng trở nên linh hoạt
28
Tải về để xem bản đầy đủ
186 trang
14/05/2025
130
Bạn đang xem 30 trang mẫu của tài liệu "Báo cáo Đề tài Hợp tác nghiên cứu phát triển các hệ thống xử lý hình ảnh nhanh trên cơ sở áp dụng công nghệ mạng nơron phi tuyến tế bào", để tải tài liệu gốc về máy hãy click vào nút Download ở trên.
File đính kèm:
- bao_cao_de_tai_hop_tac_nghien_cuu_phat_trien_cac_he_thong_xu.pdf
