Luận văn Nhận dạng người dựa vào thông tin khuôn mặt xuất hiện trên ảnh
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN CÔNG NGHỆ TRI THỨC
LUẬN VĂN TỐT NGHIỆP
CỬ NHÂN TIN HỌC
ĐỀ TÀI :
NHẬN DẠNG NGƯỜI
DỰA VÀO THÔNG TIN KHUÔN MẶT
XUẤT HIỆN TRÊN ẢNH
GIÁO VIÊN HƯỚNG DẪN
TS LÊ HOÀI BẮC
SINH VIÊN THỰC HIỆN
TRẦN PHƯỚC LONG
NGUYỄN VĂN LƯỢNG
9912606
9912608
TP. HỒ CHÍ MINH, 07/ 2003
LỜI CẢM ƠN
X
W
Xin chân thành cảm ơn các thầy, các cô khoa Công Nghệ Thông Tin, Đại Học
Khoa Học Tự Nhiên đã tận tình dạy dỗ, truyền đạt cho chúng tôi nhiều kiến thức
quý báu.
Xin tỏ lòng biết ơn sâu sắc đến thầy Lê Hoài Bắc, người đã tận tình giúp
đỡ và truyền đạt nhiều kinh nghiệm để đề tài có thể được thực hiện và hoàn thành.
Xin chân thành cảm ơn thầy Võ Đức Khánh, anh Phạm Nam Trung, anh
Nguyễn Đức Hoàng Hạ, anh Hoàng Thân Anh Tuấn đã giúp đỡ, động viên chúng
tôi rất nhiều trong quá trình thực hiện đề tài.
Lời cảm ơn sâu sắc nhất xin dành cho bố mẹ vì ơn sinh thành và giáo
dưỡng.
Xin cảm ơn tất cả.
TP. Hồ Chí Minh tháng 07 năm 2003.
Trần Phước Long
Nguyễn Văn Lượng
i
LỜI MỞ ĐẦU
Trong những năm gần đây, các ứng dụng về trí tuệ nhân tạo ngày càng phát
triển và được đánh giá cao. Một lĩnh vực đang được quan tâm của trí tuệ
nhân tạo nhằm tạo ra các ứng dụng thông minh, có tính người đó là nhận
dạng. Đối tượng cho việc nghiên cứu nhận dạng cũng rất phong phú và đa
dạng. Trong đề tài này chúng tôi chọn đối tượng là khuôn mặt.
Khuôn mặt đóng vai trò quan trọng trong quá trình giao tiếp giữa người với
người, và cũng mang một lượng thông tin giàu có, chẳng hạn có thể xác định giới
tính, tuổi tác, trạng thái cảm xúc của người đó, ... hơn nữa khảo sát chuyển động
của các đường nét trên khuôn mặt có thể biết được người đó muốn nói gì. Do đó,
nhận dạng khuôn mặt là điều quan trọng và cần thiết trong xã hôi loài người. Đó
là lý do chúng tôi chọn đề tài :
“NHẬN DẠNG NGƯỜI DỰA VÀO THÔNG TIN KHUÔN MẶT
XUẤT HIỆN TRÊN ÁNH”
Để có hệ thống nhận dạng khuôn mặt với chất lượng tốt, chúng tôi đã tiếp
cận bằng hai mô hình xử lý được đánh giá là mạnh trong lĩnh vực trí tuệ nhân tạo,
đó là mô hình phân cách với thuật toán SVM và mô hình thống kê với thuật toán
HMM làm công cụ xử lý chính cho việc nhận dạng người dựa vào thông tin
khuôn mặt trên ảnh.
Đề tài được tổ chức thành chín chương với nội dung :
Chương 1: Phát biểu bài toán nhận dạng người dựa vào thông tin khuôn mặt
xuất hiện trên ảnh.
Chương 2: Mô tả dữ liệu.
Chương 3: Dò tìm khuôn mặt.
Chương 4: Rút trích đặc trưng từ khuôn mặt.
Chương 5: Phương pháp SVM và ứng dụng nhận dạng khuôn mặt.
Chương 6: Phương pháp Mô hình Makov ẩn và ứng dụng nhận dạng khuôn
mặt.
Chương 7: Thiết kế chương trình và hướng dẫn sử dụng.
Chương 8: Thực nghiệm và kết qủa.
Chương 9: Nhận xét và hướng phát triển.
ii
MỤC LỤC
Chương 1 PHÁT BIỂU BÀI TOÁN NHẬN DẠNG NGƯỜI DỰA VÀO
THÔNG TIN KHUÔN MẶT XUẤT HIỆN TRÊN ẢNH......................................1
1.1 Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt................2
1.1.1 Hệ thống sinh trắc học...............................................................................2
1.1.2 Hệ thống nhận dạng khuôn mặt ................................................................2
1.1.3 Hệ thống xác minh hay xác thực khuôn mặt là gì?...................................2
1.1.4 Những thách thức trong bài toán nhận dạng khuôn mặt ...........................3
1.2 Tổng quan về các ứng dụng tương tác người máy (Human computer
interactive) liên quan đến khuôn mặt......................................................................4
1.3 Các hướng tiếp cận chính trong lĩnh vực nhận dạng khuôn mặt...................7
1.3.1 Các công trình nghiên cứu về phương pháp nhận dạng và kiểm chứng
chất lượng cho một hệ thống nhận dạng khuôn mặt ..........................................7
1.3.2 Hướng tiếp cận được thử nghiệm trong luận văn....................................10
Chương 2 MÔ TẢ DỮ LIỆU .............................................................................11
2.1 Thu thập dữ liệu...........................................................................................12
2.2 Biểu diễn dữ liệu khuôn mặt trong máy tính ...............................................14
Chương 3 DÒ TÌM KHUÔN MẶT ...................................................................15
3.1 Giới thiệu .....................................................................................................16
3.1.1 Các thách thức trong việc dò tìm khuôn mặt ..........................................16
3.1.2 Tiếp cận theo khung nhìn kết hợp mạng nơron.......................................18
3.1.3 Dò tìm khuôn mặt bằng phương pháp mạng neural................................20
3.2 Chuẩn bị dữ liệu cho hệ thống dò tìm khuôn mặt........................................21
3.2.1 Giới thiệu.................................................................................................21
3.2.2 Gán nhãn và canh biên các đặc trưng khuôn mặt....................................21
3.2.3 Tiền xử lý về độ sáng và độ tương phản trên tập mẫu học .....................25
3.3 Phương pháp dò tìm khuôn mặt thẳng.........................................................27
3.3.1 Giới thiệu.................................................................................................27
3.3.2 Huấn luyện dò tìm khuôn mặt.................................................................28
3.3.2.1 Ảnh huấn luyện khuôn mặt............................................................30
3.3.2.2 Ảnh huấn luyện không phải khuôn mặt.........................................30
3.3.2.3 Phương pháp huấn luyện chủ động ...............................................31
iii
3.3.3 Phương pháp cải tiến chất lượng dò tìm khuôn mặt ...............................34
3.3.3.1 Các Heuristic loại bỏ thông tin thừa..............................................34
3.3.3.2 Hệ thống Mạng Kết Hợp ...............................................................37
Chương 4 RÚT TRÍCH ĐẶC TRƯNG TỪ KHUÔN MẶT............................39
4.1 Tiếp cận theo phương pháp phân tích thành phần chính (Principal
Component Analysis hay PCA) ............................................................................40
4.1.1 Vector riêng, Trị riêng và sự chéo hoá của ma trận.................................40
4.1.2 Kì vọng và phương sai trong thống kê đa chiều .....................................41
4.1.3 Kỹ thuật rút trích trích đặc trưng bằng phương pháp phân tích thành
phần chính ........................................................................................................42
4.2 Tiếp cận theo phương pháp Biến đổi Cosine rời rạc ...................................47
4.2.1 Ý nghĩa phép biến đổi DCT ....................................................................47
4.2.2 Các khái niệm quan trọng .......................................................................47
4.2.3 Kĩ thuật mã hoá hệ số DCT.....................................................................49
4.2.4 Quét Zigzag.............................................................................................53
Chương 5 SVM VÀ ỨNG DỤNG NHẬN DẠNG KHUÔN MẶT ..................54
5.1 Cở sở lý thuyết của SVM.............................................................................55
5.1.1 Các khái niệm nền tảng...........................................................................55
5.1.1.1 Đường bao tổng quát cho một hệ máy học....................................55
5.1.1.2 Chiều VC (VC-dimension)............................................................56
5.1.1.3 Phân hoạch tập dữ liệu bằng các siêu mặt có hướng.....................56
5.1.1.4 Cực tiểu đường bao lỗi trên cơ sở cực tiểu chiều VC ...................57
5.1.1.5 Cực tiểu hoá lỗi theo cấu trúc (SRM)............................................58
5.1.2 SVM tuyến tính.......................................................................................58
5.1.2.1 Trường hợp dữ liệu có thể phân cách được...................................58
5.1.2.2 Điều kiện tối ưu Karush-Kuhn-Tucker..........................................61
5.1.2.3 Trường hợp dữ liệu không thể phân cách được.............................61
5.1.3 SVM phi tuyến ........................................................................................64
5.1.4 Chiều VC của SVM.................................................................................68
5.1.5 Hạn chế của phương pháp SVM .............................................................68
5.2 Nhận dạng khuôn mặt người với SVM........................................................69
5.2.1 Nhận dạng đa lớp dùng SVM với cây nhị phân......................................69
5.2.2 Nhận dạng khuôn mặt dùng SVM...........................................................71
5.2.2.1 Giai đoạn huấn luyện hệ thống......................................................71
5.2.2.1.1 Huấn luyện SVM cho bài toán nhận dạng khuôn mặt ...........71
5.2.2.1.2 Vector hoá tập mẫu khuôn mặt thô.........................................72
iv
5.2.2.1.3 Rút trích đặc trưng khuôn mặt ...............................................73
5.2.2.1.4 Tạo các bộ phân loại nhị phân ...............................................75
5.2.2.1.5 Huấn luyện cho mỗi bộ phân loại nhị phân từ các tập mẫu
nhị phân hoá hai lớp khuôn mặt với nhau...............................................76
5.2.2.1.6 Khởi tạo kiến trúc cây nhị phân .............................................87
5.2.2.2 Giai đoạn nhận dạng khuôn mặt....................................................87
5.2.2.2.1 Nhận dạng khuôn mặt dùng SVM..........................................87
5.2.2.2.2 Kỹ thuật nhận dạng khuôn mặt SVM ....................................87
5.2.2.2.2.1 Vector hoá tập mẫu khuôn mặt thô.................................87
5.2.2.2.2.2 Rút trích đặc trưng khuôn mặt........................................87
5.2.2.2.2.3 Đưa mẫu thử nghiệm khuôn mặt x vào cấu trúc nhị
phân và thực hiện đối sánh trên từng mô hình nhị phân SVMs..........87
5.2.2.2.3 Mô phỏng quá trình nhận dạng khuôn mặt ............................90
5.2.3 Nhận xét và hướng phát triển tương lai...................................................92
5.2.3.1 Ưu điểm.........................................................................................92
5.2.3.2 Khuyết điểm và hạn chế ................................................................93
5.2.3.3 Những đề xuất và cải tiến..............................................................93
5.2.3.3.1 Về mặt thuật toán học ............................................................93
5.2.3.3.2 Về mặt chương trình ứng dụng ..............................................94
Chương 6 MÔ HÌNH MAKOV ẨN VÀ ỨNG DỤNG NHẬN DẠNG
KHUÔN MẶT .........................................................................................................95
6.1 Giới thiệu mô hình Makov ẩn......................................................................96
6.1.1 Mô hình Markov......................................................................................96
6.1.2 Mô hình Markov ẩn.................................................................................97
6.1.2.1 Xác suất của chuỗi quan sát...........................................................98
6.1.2.1.1 Thủ tục tiến ............................................................................99
6.1.2.1.2 Thủ tục lùi ............................................................................100
6.1.2.2 Dãy trạng thái tối ưu....................................................................101
6.1.2.3 Hiệu chỉnh các tham số của mô hình...........................................103
6.2 ỨNG DỤNG MÔ HÌNH MARKOV ẨN NHẬN DẠNG KHUÔN MẶT
NGƯỜI................................................................................................................104
6.2.1 Ý tưởng..................................................................................................104
6.2.2 Nhận dạng khuôn mặt bằng mô hình Markov ẩn..................................105
6.2.2.1 Giai đoạn huấn luyện hệ thống....................................................105
6.2.2.1.1 Ảnh khuôn mặt huấn luyện..................................................105
6.2.2.1.2 Biểu diễn dữ liệu khuôn mặt theo mô hình Makov .............106
v
6.2.2.1.3 Kỹ thuật trích đặc trưng trên mẫu khuôn mặt......................109
6.2.2.1.4 Huấn luyện HMM................................................................112
6.2.2.1.5 Đồ thị biểu diễn tác vụ học qua các vòng lặp và cực đại xác
suất ước lượng mô hình từ dữ liệu quan sát..........................................113
6.2.2.2 Giai đoạn nhận dạng khuôn mặt..................................................131
6.2.3 Nhận xét và hướng phát triển tương lai.................................................131
6.2.3.1 Ưu điểm.......................................................................................131
6.2.3.2 Khuyết điểm ................................................................................132
Chương 7 THIẾT KẾ CHƯƠNG TRÌNH VÀ HƯỚNG DẪN SỬ DỤNG..133
7.1 Giới thiệu ...................................................................................................134
7.2 Thiết kế và cài đặt chương trình ................................................................134
7.3 Giao diện màn hình và hướng dẫn sử dụng...............................................135
Chương 8 THỰC NGHIỆM VÀ KẾT QUẢ...................................................140
8.1 Dữ liệu và phương pháp thử nghiệm nhận dạng khuôn mặt .....................141
8.2 Kết quả Kết quả theo tiếp cận HMM.........................................................143
8.2.1 Thực nghiệm trên từng bộ tham số .......................................................143
8.2.2 Nhận xét ................................................................................................148
8.3 Kết quả theo tiếp cận SVM........................................................................148
8.3.1 Thực nghiệm trên từng bộ tham số .......................................................148
8.3.2 Nhận xét ................................................................................................155
8.4 So sánh kết quả HMM và SVM.................................................................156
Chương 9 NHẬN XÉT VÀ HƯỚNG PHÁT TRIỂN.....................................158
9.1 Thuận lợi....................................................................................................159
9.2 Khó khăn....................................................................................................160
9.3 Hướng phát triển tương lai.........................................................................161
9.4 Tổng kết .....................................................................................................163
vi
DANH SÁCH CÁC HÌNH
Hình 1-1 So sánh tác vụ nhận dạng khuôn mặt và xác minh khuôn...........................3
Hình 1-2 Mô phỏng hệ thống nhận dạng khuôn mặt ................................................10
Hình 2-1 Dữ liệu gồm 30 người được gán nhãn theo thứ tự từ 1 đến 30. ................13
Hình 2-2 Dữ liệu gồm 10 người được gán nhãn theo thứ tự từ 1 đến 10 .................13
Hình 2-3 Kích thước chuẩn hoá của một mẫu khuôn mặt trong tập học..................14
Hình 3-1 Sơ đồ luồng xử lý các bước chính trong tiến trình dò tìm khuôn mặt.......20
Hình 3-2 Trái: Mẫu khuôn mặt chuẩn. Phải: Các vị trí đặc trưng khuôn mặt chuẩn
(tròn trắng), và phân phối của các vị trí đặc trưng thực (sau khi canh biên) từ mọi
mẫu (các điểm đen). ..................................................................................................23
Hình 3-3 Ví dụ ảnh khuôn mặt thẳng được canh biên. .............................................23
Hình 3-4 Các bước trong việc tiền xử lý window. Đầu tiên, xây dựng hàm ánh xạ
tuyến tính với các giá trị mật độ trong window, và sau đó trừ đi nó, để hiệu chỉnh
về độ sáng. Tiếp theo, áp dụng cân bằng lược đồ, để hiệu chỉnh đầu vào camera
khác nhau và cải thiện độ tương phản. Trong mỗi bước, việc ánh xạ được tính với
các pixel bên trong hình tròn, và được áp dụng với toàn window............................26
Hình 3-5 Thuật toán dò tìm khuôn mặt.....................................................................28
Hình 3-6 Trong khi huấn luyện, hệ thống đã huấn luyện một phần được áp dụng
với các ảnh phong cảnh không chứa khuôn mặt (như bên trái). Bất kỳ vùng nào
trong ảnh được dò là khuôn mặt là lỗi, và được thêm vào tập mẫu huấn luyện âm. 32
Hình 3-7 Ảnh mẫu để thử nghiệm đầu ra của bộ dò tìm thẳng.................................32
Hình 3-8 Đầu ra của mạng dò tìm.............................................................................33
Hình 3-9 Kết qủa áp dụng threshold(4,2) với các ảnh trong Hình 3-8. ....................34
Hình 3-10 Kết qủa áp dụng trùng lấp với các ảnh của Hình 9..................................35
Hình 3-11 Cơ cấu trộn nhiều dò tìm từ một mạng đơn: A) Các dò tìm được ghi
trong chóp “đầura”. B) tính số dò tìm trong lân cận của mỗi dò tìm. C) Bước cuối
cùng là kiểm tra các vị trí khuôn mặt đã đưa ra về tính chồng lấp, và D) loại bỏ
các dò tìm chồng lấp nếu tồn tại. ..............................................................................36
Hình 3-12 AND các đầu ra từ hai mạng trên các vị trí và tỷ lệ khác nhau có thể cải
thiện độ chính xác dò tìm..........................................................................................37
Hình 4-1 Hai trục tương ứng với hai thành phần quan trọng nhất và ít quan trọng
nhất đối với tập mẫu có hai cluster như trên.............................................................44
Hình 4-2 Các hàm cơ sở của phép biến đổi Cosine rời rạc, Miền quang phổ của
phép biến đổi Cosine rời rạc bao gồm một mảng hai chiều 8´8, mỗi phần từ trong
vii
mảng là giá trị biên độ của một trong 64 hàm cơ sở.................................................50
Hình 4-3 Quá trình mã hoá DCT trên một khối 8×8.................................................52
Hình 4-4 Vẽ khối zigzag dạng 1 ...............................................................................53
Hình 4-5 Vẽ khối zigzag dạng 2 ...............................................................................53
Hình 5-1 Ba điểm trong R2........................................................................................57
Hình 5-2 Độ tin cậy VC là hàm đơn điệu theo h ......................................................57
Hình 5-3 Các tập hàm học lồng vào nhau được sắp thứ tự theo chiều VC...............58
Hình 5-4 Siêu mặt phân cách tuyến tính cho trường hợp phân cách được và kí
hiệu các support vector chính là các điểm được bao bằng viền tròn ........................59
Hình 5-5 Siêu mặt phân cách tuyến tính cho trường hợp không phân cách được....63
Hình 5-6 Ảnh, trong H, với hình vuông [1-,1] X [-1,1] ∈ R2 dưới ánh xạ Φ .........65
Hình 5-7 Trái: Cấu trúc cây nhị phân với số lớp bằng số mũ của 2. Phải: số lớp
không bằng số mũ của 2............................................................................................70
Hình 5-8 Các tác vụ huấn luyện hệ thống SVMs nhận dạng khuôn mặt..................71
Hình 5-9 Vector hoá mẫu khuôn mặt ........................................................................72
Hình 5-10 Mô phỏng phân lớp khuôn mặt giữa hai người bằng hàm tuyến tính .....77
Hình 5-11 Biểu diễn số liệu bảng 1 lên đồ thị...........................................................79
Hình 5-12 Mô phỏng phân lớp khuôn mặt giữa hai người quá nhiều đặc trưng
tương đương hay biến động. .....................................................................................80
Hình 5-13 Biểu diễn số liệu bảng 1(Linear), bảng 2(Poly-2), bảng 3(Poly-3), bảng
4 (Poly-4) trên cùng một đồ thị.................................................................................84
Hình 5-14 Các tác vụ nhận dạng khuôn mặt.............................................................87
Hình 5-15 Mô phỏng cách ghép thành từng cặp nhị phân từ các Node lá của cây
nhị phân.....................................................................................................................88
Hình 5-16 Kết xuất phân loại mẫu x ở cấp 1. ...........................................................88
Hình 5-17 Kết quả mẫu x được nhận dạng với nhãn thuộc về khuôn mặt của người
“Lớp1”.......................................................................................................................89
Hình 5-18 Mô phỏng cách ghép thành từng cặp nhị phân từ các Node lá của cây
nhị phân.....................................................................................................................90
Hình 5-19 Quá trình xây dựng cây nhị phân từ cấp có L-1 cặp đến cấp có 2K/2
cặp phân loại nhị phân...............................................................................................90
Hình 5-20 Nhận dạng Mẫu thử nghiệm chưa được quan sát thuộc về Người 1 là
đúng...........................................................................................................................91
Hình 6-1 Mô hình Markov ba trạng thái biểu diễn thời tiết......................................96
Hình 6-2 Mô phỏng mô hình Markov ẩn rời rạc bằng mô hình bình banh...............97
Hình 6-3 Tính toán theo thủ tục tiến ở một thời điểm ..............................................99
viii
Hình 6-4 Tính toán theo thủ tục lùi ở một thời điểm..............................................100
Hình 6-5 Huấn luyện khuôn mặt bằng mô hình Markov ẩn rời rạc........................105
Hình 6-6 Mẫu khuôn mặt cho việc huấn luyện mô hình Markov ẩn rời rạc với kích
thước chuẩn 32x32 (pixels).....................................................................................106
Hình 6-7 Tách mẫu huấn luyện HxW thành một chuỗi các khối con PxW. ...........106
Hình 6-8 Mẫu khuôn mặt sẽ được tách thành 7 khối theo thứ tự từ trái sang phải
với mỗi khối là 32x8(pixels)...................................................................................108
Hình 6-9 Mẫu khuôn mặt được tách thành 7 khối theo thứ tự từ trên xuống dưới
với mỗi khối là 32x8(pixels)...................................................................................109
Hình 6-10 Khối đầu tiên trong 7 khối cần được lượng hoá thành vector quan sát.110
Hình 6-11 Tách khối 8×8 (pixels)...........................................................................110
Hình 6-12 Chuỗi quan sát từ người thứ nhất được gán nhãn “Người 1”................114
Hình 6-13 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với N = 4.........................................................................................116
Hình 6-14 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với N = 6.........................................................................................118
Hình 6-15 Các tiến trình huấn luyện HMM cho tập khuôn mặt “Người 1” với N =
8...............................................................................................................................120
Hình 6-16 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với N = 10.......................................................................................121
Hình 6-17 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với M = 2........................................................................................124
Hình 6-18 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với M = 4........................................................................................126
Hình 6-19 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với M = 6........................................................................................128
Hình 6-20 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với M = 8........................................................................................129
Hình 6-21 Các tiến trình huấn luyện mô hình Markov ẩn rời rạc cho tập khuôn
mặt “Người 1” với M = 10nh Markov ẩn rời rạc cho tập khuôn mặt “Người 1” với
M = 10.....................................................................................................................131
ix
DANH SÁCH CÁC BẢNG
Bảng 4-1 Dữ liệu trên Matrận hai hiều 8x8 ..............................................................51
Bảng 4-2 Dữ liệu qua phép biến đổi 2D-DCT..........................................................52
Bảng 5-1 Số Vector hỗ trợ tính được từ 29 bộ phân loại nhị phân đầu tiên để phân
biệt khuôn mặt “lớp 1” với 29 lớp khuôn mặt khác..................................................79
Bảng 5-2 Kết quả của việc huấn luyện từ 29 bộ phân loại nhị phân đầu tiên để
phân biệt khuôn mặt “Lớp 1” với các khuôn mặt của 29 người còn lại bằng SVM
phi tuyến có dạng đa thức bậc 2 (Poly-2). ................................................................83
Bảng 5-3 Kết quả của việc huấn luyện từ 29 bộ phân loại nhị phân đầu tiên để
phân biệt khuôn mặt “Lớp 1” với các khuôn mặt của 29 người còn lại bằng SVM
phi tuyến có dạng đa thức bậc 2 (Poly-3). ................................................................83
Bảng 5-4 Kết quả của việc huấn luyện từ 29 bộ phân loại nhị phân đầu tiên để
phân biệt khuôn mặt “Lớp 1” với các khuôn mặt của 29 người còn lại bằng SVM
phi tuyến có dạng đa thức bậc 2 (Poly-4). ................................................................83
Bảng 6-1 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc với
số trạng thái là 4 và hệ số Mixture thay đổi từ 2Æ20.............................................116
Bảng 6-2 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc với
số trạng thái là 6 và hệ số Mixture thay đổi từ 2→12.............................................118
Bảng 6-3 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc với
số trạng thái là 8 và hệ số Mixture thay đổi từ 2→16.............................................119
Bảng 6-4 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc với
số trạng thái là 10 và hệ số Mixture thay đổi từ 2→10...........................................121
Bảng 6-5 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc Hệ
số Mixture bằng 2 và hệ số trạng thái thay đổi từ 4→10........................................123
Bảng 6-6 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc Hệ
số Mixture bằng 4 và hệ số trạng thái thay đổi từ 4→10........................................125
Bảng 6-7 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc Hệ
số Mixture bằng 6 và hệ số trạng thái thay đổi từ 4→10........................................127
Bảng 6-8 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc Hệ
số Mixture bằng 8 và hệ số trạng thái thay đổi từ 4→10........................................128
Bảng 6-9 Bảng số liệu khi thử nghiệm huấn luyện mô hình Markov ẩn rời rạc Hệ
số Mixture bằng 10 và hệ số trạng thái thay đổi từ 4→10......................................129
Bảng 8-1 Mô tả dữ liệu thử nghiệm thu thập từ mỗi người trong hệ thống nhận
dạng.........................................................................................................................142
x
Bảng 8-2 Kết quả hệ thống nhận dạng theo mô hình Markov với số trạng thái N =
4...............................................................................................................................144
Bảng 8-3 Kết quả hệ thống nhận dạng theo mô hình Markov với số trạng thái N =
6...............................................................................................................................145
Bảng 8-4 Kết quả hệ thống nhận dạng theo mô hình Markov với số trạng thái N =
8...............................................................................................................................146
Bảng 8-5 Kết quả hệ thống nhận dạng theo mô hình Markov với số trạng thái N =
10.............................................................................................................................147
Bảng 8-6 Kết quả nhận dạng tốt nhất với phương pháp mô hình Markov tại N = 6
và M = 10 ................................................................................................................148
Bảng 8-7 Kết quả nhận dạng với phương pháp SVMs với C = 30.........................150
Bảng 8-8 Kết quả nhận dạng với phương pháp SVMs với C = 50.........................151
Bảng 8-9 Kết quả nhận dạng với phương pháp SVMs với C = 100.......................152
Bảng 8-10 Kết quả nhận dạng với phương pháp SVMs với C = 200.....................153
Bảng 8-11 Kết quả nhận dạng với phương pháp SVMs với C = 400 .....................154
Bảng 8-12 Kết quả nhận dạng tốt nhất với phương pháp SVMs tại C = 400 và K là
hàm xử lý chính dạng đa thức bậc 3 .......................................................................155
xi
Chương 1 PHÁT BIỂU BÀI TOÁN NHẬN
DẠNG NGƯỜI DỰA VÀO THÔNG TIN
KHUÔN MẶT XUẤT HIỆN TRÊN ẢNH
1
1.1 Tổng quan và các khái niệm liên quan đến nhận
dạng khuôn mặt
1.1.1 Hệ thống sinh trắc học
Hệ thống sinh trắc học là một hệ thống được thiết kế để xác minh và nhận dạng
một người dựa vào những đặc trưng sinh học duy nhất của người đó.
1.1.2 Hệ thống nhận dạng khuôn mặt
Hệ thống nhận dạng khuôn mặt là một hệ thống được thiết kế để tìm thông tin của
một người. Kĩ thuật nhận dạng là kiểm tra sự phù hợp dựa trên phép so sánh
một-nhiều cụ thể là tìm ra một người là ai trong số những người đã được lưu trữ
trong hệ thống dựa vào thông tin khuôn mặt.
1.1.3 Hệ thống xác minh hay xác thực khuôn mặt là gì?
Hệ thống xác minh/xác thực khuôn mặt là một hệ thống được thiết kế để xác minh
thông tin của một người . Kĩ thuật xác minh là kiểm tra sự phù hợp trên phép so
sánh một-một cụ thể là đối chiếu thông tin mới nhận về một người với thông tin
đã lưu trữ về người này có khớp hay không dựa trên thông tin khuôn mặt.
2
Hoaøn toaøn chöa bieát thoâng tin
Ñaõ bieát tröôùc thoâng tin
Nhaän daïng ngöôøi
Xaùc minh ngöôøi
Ñaây laø Peter phaûi khoâng?
Ngöôøi naøy laø ai?
Peter
Ñuùng/Sai
Hình 1-1 So sánh tác vụ nhận dạng khuôn mặt và xác minh khuôn
1.1.4 Những thách thức trong bài toán nhận dạng khuôn
mặt
Những biến đổi quá lớn giữa các ảnh khuôn mặt khác nhau từ một người cần nhận
dạng gồm trạng thái cảm xúc trên khuôn mặt, ánh sáng, và các thay đổi vị trí của
khuôn mặt..vv.
Giới hạn về số ảnh cần thiết cho việc nhận dạng, tập học không thể bao quát
được tất cả các biến đổi có thể có trên khuôn mặt của một người cần nhận dạng
trong thế giới thực.
3
1.2 Tổng quan về các ứng dụng tương tác người máy
(Human computer interactive) liên quan đến khuôn mặt
Từ những năm 1990 trở lại đây, chúng ta đã chứng kiến sự phát triển như vũ bão
của các ngành công nghiệp, đặc biệc là ngành công nghiệp chế tạo điện tử. Tuy
nhiên hiện nay các thiết bị điện tử cao cấp như máy ảnh số, camera kĩ thuật số, và
nhiều sản phẩm khác dường như chỉ phù hợp cho các phòng thí nghiệm, các công
ty sản xuất kinh doanh, thương mại, tài chính, ngân hàng, ... Trong thời gian
không xa từ 3 đến 10 năm nữa, chi phí cho các thiết bị này sẽ giảm đáng kể. Khi
đó sẽ mở ra nhiều hướng nghiên cứu về thị giác máy tính, đồng thời sẽ có nhiều
ứng dụng trong giao tiếp giữa người với máy tính mà trong đó hệ thống nhận
dạng mặt người đóng một vai trò không nhỏ. Dưới đây chúng tôi liệt kê một số
ứng dụng.
¾ Các ứng dụng chuyên biệt cho ngành hàng không
9 Đảm bảo sự truy cập và tính hợp lệ trong công việc cho từng nhân
viên: Mỗi nhân viên làm việc tại cảng hàng không cũng như nhân
viên phi hành đoàn được cung cấp quyền truy cập để đến vị trí làm
việc. Làm thế nào để xác minh nhân viên này vào đúng khu vực làm
việc hay không?
9 Làm sao để đảm bảo trong số những hành khách không có sự trà
trộn của một số kẻ khủng bố/tội phạm quốc gia/ quốc tế?
4
¾ Bảo vệ trẻ em ở nhà trẻ từ bọn bắt cóc
9 Quy định rằng, chỉ có những nhân viên của nhà trẻ mới được phép
dẫn trẻ em ra ngoài và trao tận tay cho bố mẹ đón về. Nhưng trong
xã hôi cũng có một số trường hợp giả danh nhân viên để bắt cóc trẻ
em với mục đích xấu. Làm thể nào để ngăn chặn hành vi xấu này?
¾ Nhận dạng khuôn mặt được sử dụng kèm với thẻ quy cập
9 Trong các nước phát triển, hầu như mọi người dân đều dùng thẻ tín
dụng để mua bán, rút tiền, trao đổi hàng hóa. Điều này rất nguy
hiểm khi thẻ truy cập này bị người khác nhặt đựợc hay biết được
mật khẩu của sở hữu thẻ này? Làm cách nào có thể bảo đảm an toàn
nhất?
Có thể dùng song mật khẩu: Có nghĩa sử dụng khuôn mặt
như là một mật khẩu thứ hai để truy cập vào hệ thống cùng với
thông tin từ card truy cập. Để rút được tiền
• Đưa thẻ vào hệ thống
• Đưa khuôn mặt vào để nhận dạng
• Xác minh người này có phải là chủ sở hữu của thẻ
hay không?
Nếu khớp thì hệ thống cho rút tiền
Nếu không thì hệ thống không cho rút tiền.
5
¾ Kinh doanh thương mại điện tử
9 Với sự tiến bộ của khoa học công nghệ, nhiều hình thức kinh doanh
thương mại xuất hiện, đặc biệt là thương mại điện tử. Việc buôn bán
và trao đổi giữa hai bên đối tác không cần diễn ra trực tiếp (mặt đối
mặt), mà chỉ cần qua mạng với hình ảnh của người đại diện. Tuy
nhiên bên cạnh đó sẽ có nhiều mặt tiêu cực trên hình thức kinh
doanh này, đó là các vụ lừa đảo, giả mạo, giả danh..vv. Làm sao để
biết được đối tác của mình là thật hay giả?
¾ Ngăn chặn việc xuất/nhập cảnh bất hợp pháp
9 Một số người không được xuất/nhập cảnh vào nước, song họ cố tình
khai gian giấy tờ để xuất/nhập cảnh bất hợp pháp. Làm sao để ngăn
chặn được sự gian lận này?
¾ Lần dấu vết đi tìm kẻ khủng bố
9 Từ những bức ảnh số hay những đoạn video số đã được ghi lại tự
động về hiện trường trước khi vụ khủng bố xảy ra. Cần nhận dạng
những đối tượng khả nghi của vụ khủng bố này?
¾ Hệ thống giám sát công nhân và chấm công tự động
9 Hiện nay trong các khu công nghiệp hay những công ty sản xuất lớn
có hàng ngàn công nhân vào ra mỗi ngày nên việc giám sát kẻ gian
vào công ty cũng như công việc chấm công rất phức tạp. Vậy làm
thế nào để nhận ra từng nhân viên của công ty.
6
Tóm lại: nhu cầu sử dụng các hệ thống xử lý dùng trí tuệ nhân tạo ngày
càng phát triển, mà trong đó nhận dạng khuôn mặt để mã hóa mật khẩu cá
nhân là một nhu cầu thiết yếu hiện nay và trong tương lai. Đặc biệt vụ
khủng bố ngày 11-9-2001 tại Mỹ đã đánh dấu một bước ngoặc mới trong
xu hướng nghiên cứu và giá trị thương mại của các hệ thống sinh trắc học
để bảo vệ sự an toàn cho con người.
1.3 Các hướng tiếp cận chính trong lĩnh vực nhận dạng
khuôn mặt
1.3.1 Các công trình nghiên cứu về phương pháp nhận
dạng và kiểm chứng chất lượng cho một hệ thống
nhận dạng khuôn mặt
Bài toán nhận dạng khuôn mặt cần xác định hai vấn đề chính: dùng thông tin nào
để nhận dạng: chân mày, cặp mắt, mũi, môi, tai, hay kết hợp các thông tin trên. Và
dùng phương pháp nào để huấn luyện cho máy nhận dạng dùng nguồn thông tin
đó. Nhận dạng khuôn mặt trên máy tính đã trãi qua nhiều bước thăng trầm với các
kết quả như sau:
¾ Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets,
John Weng (1998)[1] sử dụng phương pháp PCA (phân tích thành phần
chính) kết hợp LDA (phân tích độc lập tuyến tính). Bước 1, chiếu ảnh
khuôn mặt từ không gian ảnh thô sang không gian các không gian khuôn
mặt (Mỗi lớp khuôn mặt được nhận dạng sẽ được mô hình hóa bằng một
không gian khuôn mặt) dùng PCA. Bước 2, sử dụng phương pháp LDA
để tạo bộ phân loại tuyến tính có khả năng phân lớp các lớp khuôn mặt.
¾ John Daugnman (1998)[2], đưa ra phương pháp dùng đặc trưng về tròng
của mắt để phân biệt cặp (trai/gái) song sinh.
¾ Emmanuel Viennet và Francoise Fogelman Soulie (1998),[3] sử dụng
phương pháp mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt.
¾ Antonio J.Colmenarez và Thomas S.Huang (1998),[4] sử dụng kỹ thuật
học thị giác và phù hợp mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn
mặt là thao tác phân loại khuôn mặt trong đó khuôn mặt thuộc về một
lớp và các đối tượng khác thuộc về lớp còn lại bằng cách ước lượng mô
7
hình xác suất cho mỗi lớp, và việc dò tìm sử dụng luật quyết định
Maximum-likelihood.
¾ Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor
Elagin, Hartmut Neven, and Christoph (1998),[5] nhận dạng khuôn mặt
dựa vào sóng Gabor và phương pháp phù hợp đồ thị bó. Với ý tưởng
dùng đồ thị để biểu diễn khuôn mặt, ảnh khuôn mặt được đánh dấu tại
các vị trí đã được xác định trước trên khuôn mặt, gọi các vị trí này chính
là các vị trí chuẩn. Khi thực hiện thao tác so khớp đồ thị với một ảnh,
các điểm chuẩn (Jets) sẽ trích ra từ ảnh và so sánh các điểm chuẩn này
với tất cả các điểm chuẩn tương ứng trong các đồ thị khác nhau, và đồ
thị nào phù hợp nhất với ảnh sẽ được chọn.
¾ Baback Moghaddam và Alex Pentland (1998) [6], đưa ra phương pháp
phù hợp thị giác trực tiếp từ các ảnh cần sử dụng cho mục đích nhận
dạng khuôn mặt và dùng độ đo xác suất để tính độ tương tự.
8
¾ Massimo Tistaelli và Enrico Grosso (1998) [7], đưa ra kỹ thuật thị giác
động. Vì khả năng quan sát các chuyển động của khuôn mặt và xử lý các
tính huống theo dự định là thông tin rất quan trọng, từ đó nhận được mô
tả đầy đủ hơn về khuôn mặt cho mục đích thu thập mẫu và nhận dạng.
¾ Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998)[8], đề xuất
thuật toán căn cứ trên tính tiến hóa (Evolutionary computation) và di
truyền (Genetic) cho các tác vụ nhận dạng khuôn mặt. Đối với cách tiếp
cận này, hai mắt sẽ được dò tìm trước tiên và thông tin này được xem là
vết để quan sát khuôn mặt, trình xử lý dò tiếp mắt bằng cách sử dụng
một thuật toán lai để kết hợp thao tác học và tiến hóa trong quá trình
học.
¾ Daniel Bgraham và Nigel M Allinson (1998)[9], sử dụng phương pháp
được gọi là tạo bản sao không gian đặc trưng để biểu diễn và nhận dạng
hướng di chuyển của khuôn mặt.
¾ Oi Bin Sun, Chian Prong Lam và Jian Kang Wu (1998)[10], sử dụng
phương pháp tìm vùng hai chân mày, hai mắt, mũi, miệng và cằm. Ảnh
khuôn mặt thẳng ban đầu được chiếu theo chiều ngang để tìm các giá trị
điểm ảnh thỏa ngưỡng cho trước, đồ thị biểu diễn theo trục ngang sẽ
định vị vị trí biên trên và biên dưới của hình chữ nhật bao các đặc trưng
cục bộ khuôn mặt. Tương tự với chiều đứng để tìm ra đường biên bên
trái và phải cho các vùng đặc trưng.
¾ Ara V.Nefian và Monson H.Hayes III (1998)[12] trình bày hướng tiếp
cận theo mô hình mô hình Markov ẩn (HMM) trong đó ảnh mẫu khuôn
mặt được lượng hóa thành chuỗi quan sát trên khuôn mặt theo quan
niệm dựa trên thứ tự xuất hiện các đặc trưng khuôn mặt {hai chân mày,
hai lông mi, mũi, miệng, cằm}. Trong chuỗi quan sát đó, mỗi quan sát
lại là một vector nhiều chiều và mỗi vector quan sát này được sử dụng
để đặc trưng cho mỗi trạng thái trong chuỗi trạng trạng thái của HMM.
Mỗi người được ước lượng bằng một mô hình của HMM.
¾ Guodong Guo, Stan Z.Li, Kap Luk Chan (17 January 2001) [13], dùng
phương pháp SVM để nhận dạng khuôn mặt. Sử dụng chiến lược kết
hợp nhiều bộ phân loại nhị phân để xây dựng bộ phân loại SVM đa lớp.
9
1.3.2 Hướng tiếp cận được thử nghiệm trong luận văn
Trong đề tài này chúng tôi thử nghiệm hai phương pháp nhận dạng: SVM và
HMM. Hai phương pháp: PCA (phân tích thành phần chính) và DCT (biến đổi
Cosine rời rạc) để rút ra các vector đặc trưng làm đầu vào cho hai bộ nhận dạng
trên.
Việc cô lập khuôn mặt trong ảnh đầu vào (ảnh chứa khuôn mặt) được thực
hiện với phương pháp dò tìm khuôn mặt trong ảnh dùng mạng neural.
Sơ đồ hệ thống nhận dạng khuôn mặt được minh họa trong hình sau:
Doø tìm
khuoân maët
Tieàn xöû lyù
aûnh khuoân maët
Chuaån hoaù
khuoân maët
?
?
?
Ñaây laø ai
?
Trích ñaëc tröng
Phöông phaùp DCT
Trích ñaëc tröng
Phöông phaùp PCA
Phöông phaùp
HMM
Phöông phaùp
SVM
Lôùp 1
Lôùp 2
Lôùp i Lôùp i+1 Lôùp N-1
Lôùp N
Lôùp i-1
Hình 1-2 Mô phỏng hệ thống nhận dạng khuôn mặt
10
Chương 2 MÔ TẢ DỮ LIỆU
11
2.1 Thu thập dữ liệu
Cơ sở dữ liệu ảnh khuôn mặt gồm 30 người được thu thập từ nhiều nguồn khác
nhau. Ảnh của 10 người đầu tiên được lấy từ website
Scan và nguồn dữ liệu này chuyện phục vụ cho bài toán dò tìm khuôn mặt, Ảnh
Kyushu University, mỗi người gồm 20 ảnh khác nhau, và nguồn dữ liệu này
chuyên phục vụ cho bài toán nhận dạng cảm xúc, 17 người còn lại từ được lấy từ
20 ảnh khác nhau, và nguồn dữ liệu này chuyên phục vụ cho các ứng dụng nhận
dạng khuôn mặt. Cơ sở dữ liệu này được minh hoạ trong Hình 2-1.
Ngoài ra, còn có tập dữ liệu do chúng tôi tạo ra trong lúc thực hiện đề tài.
Đó là dữ liệu được thu thập bằng WebCam gồm 10 người khác nhau. Chính sự
chủ động trong việc tạo mẫu nên số lượng ảnh khoảng trên 50 ảnh / 1 người. Tập
mẫu này được minh hoạ trong Hình 2-2.
Nhận xét về tập mẫu dữ liệu: Hầu hết các khuôn mặt xuất hiện trong ảnh là
khuôn mặt trực diện với mặt phẳng ảnh và mỗi khuôn mặt đều đầy đủ thông tin
đặc trưng như {Hai chân mày, hai mắt, mũi, miệng, cằm}. Một số khuôn mặt quay
với một góc không đáng kể.
Kích thước chuẩn hoá của mỗi mẫu trong tập huấn luyện 30×30 (pixels) hoặc
32×32 (pixels) như mô tả trên Hình 2-3. Tuỳ thuộc vào đặc trưng xử lý của mỗi
thuật toán ta sử dụng một trong hai dạng kích thước ảnh chuẩn trên.
12
1
2
3
4
5
6
7
8
9
10
11
12
17
13
18
23
28
14
19
24
29
15
16
21
26
20
25
30
22
27
Hình 2-1 Dữ liệu gồm 30 người được gán nhãn theo thứ tự từ 1 đến 30.
1
2
3
4
5
6
7
8
9
10
Hình 2-2 Dữ liệu gồm 10 người được gán nhãn theo thứ tự từ 1 đến 10
13
30
30
Hình 2-3 Kích thước chuẩn hoá của một mẫu khuôn mặt trong tập học
2.2 Biểu diễn dữ liệu khuôn mặt trong máy tính
Dữ liệu ảnh biểu diễn bên trong máy tính là cường độ sáng của điểm ảnh, tại vị trị
x và y: (I(x,y)).
Để biểu diễn dữ liệu cho các thuật toán học nhận dạng, ta dùng hai cách tổ
chức dữ liệu như sau:
¾ Đọc từng dòng ảnh theo thứ tự từ trên xuống, mỗi dòng ảnh được bố trí
liên tục nhau trên một mảng số thực một chiều. Như vậy từ ảnh có kích
thước 30×30 (pixels) ta biểu diễn thành mảng vector một chiều trong máy
tính x=(x1,x2,….,x900). Đây là cách bố trí để thí nghiệm cho phương pháp
PCA và SVM.
¾ Đọc từng khối ảnh có kích thước 8×32 (pixel) theo thứ tự khối dưới chồng
lấp khối trên một nữa kích thước tính theo chiều cao, trên mỗi khối ảnh
này ta lại tiếp tục tách ra mỗi khối con 8×8 liên tục nhau. Từ khối
8×8(pixels), chúng tôi chọn ra 20 hệ số đặc trưng từ phép biến đổi trên
miền tần số. Mỗi khối ảnh 8×32 sẽ được lượng hoá thành mỗi vector một
chiều. Như vậy đỗi với ảnh mỗi khuôn mặt ta biểu biển trong máy tính
thành một chuỗi các vector một chiều liên tiếp nhau. Đây là cách bố trí để
thử nghiệm cho phương pháp DCT và HMM.
14
Chương 3 DÒ TÌM KHUÔN MẶT
15
3.1 Giới thiệu
Dò tìm đối tượng là bài toán cơ bản và quan trọng trong lĩnh vực thị giác máy tính.
Các kỹ thuật đã được áp dụng có thể chia thành một trong hai tiếp cận: so khớp
các mô hình hình học hai, ba chiều vào ảnh [Seutens at al., 1992, Chin và Dyer,
1986, Besl và Jain, 1985], hay phương pháp so khớp các mô hình khung vào ảnh
có chứa khuôn mặt cần dò tìm. Các nghiên cứu trước đây cho thấy rằng các
phương pháp dựa trên khung nhìn có thể dò tìm các khuôn mặt thẳng trong nền
phức tạp một cách hiệu qủa.
Việc phát triển bộ dò tìm đối tượng dựa trên khung nhìn dùng máy học có
ba vấn đề chính. Thứ nhất, ảnh của các đối tượng (chẳng hạn khuôn mặt) biến đổi
nhịều, tuỳ thuộc vào độ sáng, tình trạng che lấp, tư thế, biểu hiện khuôn mặt và
tính giống nhau. Thuật toán dò tìm giải quyết với càng nhiều biến đổi càng tốt.
Thứ hai, một hay nhiều mạng neural được huấn luyện để giải quyết với mọi biến
đổi còn lại trong việc phân biệt đối tượng (object) với không phải đối tượng
(non-object). Thứ ba, đầu ra từ các bộ dò tìm phải được kết hợp lại thành một
quyết định có biểu diễn đối tượng hay không.
Hai bài toán dò tìm và nhận dạng đối tượng có liên quan mật thiết. Hệ
thống nhận dạng đối tượng có thể xây dựng mà không có tập bộ dò tìm đối tượng,
mỗi bộ dò tìm dò một đối tượng quan tâm. Tương tự, bộ dò tìm đối tượng có thể
được xây dựng mà không có hệ thống nhận dạng đối tượng; bộ nhận dạng đối
tượng này cần phân biệt đối tượng mong muốn với mọi đối tương khác có thể
xuất hiện hay là lớp đối tượng chưa biết. Do đó hai bài toán là như nhau, dù trong
thực hành hầu hết các hệ thống nhận dạng đối tượng ít khi giải quyết nền tuỳ ý, và
các hệ thống dò tìm đối tượng ít khi được huấn luyện trên đủ loại đối tượng để
xây dựng hệ thống nhận dạng. Điểm chú trọng khác nhau của các bài toán này dẫn
đến các trình bày và thuật toán khác nhau.
Thông thường, các hệ thống nhận dạng khuôn mặt làm việc bằng cách
trước hết áp dụng bộ dò tìm khuôn mặt để định vị khuôn mặt, sau đó áp dụng
thuật toán nhận dạng để nhận diện khuôn mặt.
3.1.1 Các thách thức trong việc dò tìm khuôn mặt
Việc dò tìm đối tượng là bài toán xác định cửa sổ con của ảnh có thuộc về tập các
ảnh của đối tượng quan tâm hay không. Do đó, đường biên quyết định của tập ảnh
đối tượng phức tạp sẽ làm tăng độ khó của bài toán và có thể tăng số lỗi dò tìm.
Giả sử ta muốn dò khuôn mặt nghiêng trong mặt phẳng ảnh, ngoài các
16
khuôn mặt thẳng. Việc thêm các khuôn mặt nghiêng vào tập các ảnh ta muốn dò
tìm làm tăng độ biến thiên của tập, và có thể làm tăng độ phức tạp của đường biên
quyết định của tập ảnh. Độ phức tạp này làm bài toán dò tìm khó hơn. Việc thêm
ảnh mới vào tập ảnh đối tượng có thể làm đường biên quyết định đơn giản hơn và
dễ học hơn. Có thể tưởng tượng điều này là đường biên quyết định được làm trơn
bằng việc thêm các ảnh vào tập.
Có nhiều nguồn biến đổi trong bài toán dò tìm đối tượng, và cụ thể trong
bài toán dò tìm khuôn mặt. Có các nguồn biến đổi sau.
9 Biến đổi trong mặt phẳng ảnh: loại biến đổi ảnh khuôn mặt đơn giản
nhất có thể được biểu diễn độc lập với khuôn mặt, bằng cách quay,
dịch chuyển, biến đổi tỷ lệ và soi gương ảnh.
17
9 Biến đổi độ sáng và ngữ cảnh: biến đổi do đối tượng và môi trường
gây ra, cụ thể các thuộc tính bề mặt của đối tượng và các nguồn
sáng. Các thay đổi về nguồn sáng nói riêng có thể biến đổi hoàn
toàn vẻ bề ngoài của khuôn mặt.
9 Biến đổi nền: Trong luận văn của mình, Sung cho rằng với kỹ thuật
nhận dạng mẫu hiện nay, tiếp cận dựa trên khung nhìn để dò tìm đối
tượng chỉ thích hợp cho các đối tượng có “đường biên ảnh có thể dự
đoán được”. Khi đối tượng có hình dáng dự đoán được, ta có thể
trích ra window chỉ chứa các pixel bên trong đối tượng, và bỏ qua
nền.
9 Biến đổi hình dáng: với khuôn mặt, loại biến đổi này bao gồm biểu
lộ tình cảm khuôn mặt, miệng và mắt mở hay đóng, và hình dáng
khuôn mặt của từng người.
3.1.2 Tiếp cận theo khung nhìn kết hợp mạng nơron
Hệ thống dò tìm khuôn mặt thực hiện qua bốn bước chính:
1. Ước lượng vị trí: việc dùng tiếp cận máy học, cụ thể là mạng neural, đòi
hỏi việc huấn luyện mẫu. Để giảm số lượng biến đổi trong ảnh huấn luyện
dương, ảnh được canh biên với các ảnh khác để cực tiểu hoá các biến đổi
vị trí đặc trưng khuôn mặt. Khi thi hành chương trình, ta không biết chính
xác các vị trí đặc trưng khuôn mặt, do đó không thể dùng chúng để định vị
các ứng viên khuôn mặt tiềm năng. Thay vậy, ta dò tìm toàn diện ở mọi vị
trí và tỷ lệ để tìm mọi vị trí ứng viên. Các cải tiến dò tìm toàn diện làm cho
thuật toán nhanh hơn, với tỷ lệ dò tìm giảm 10% đến 30%.
18
Tải về để xem bản đầy đủ
180 trang
23/07/2025
750
Bạn đang xem 30 trang mẫu của tài liệu "Luận văn Nhận dạng người dựa vào thông tin khuôn mặt xuất hiện trên ảnh", để tải tài liệu gốc về máy hãy click vào nút Download ở trên.
File đính kèm:
- luan_van_nhan_dang_nguoi_dua_vao_thong_tin_khuon_mat_xuat_hi.pdf
