Đề tài Phát triển một hệ thống S.E hỗ trợ tìm kiếm thông tin, thuộc lãnh vực công nghệ thông tin trên Internet qua từ khóa bằng tiếng Việt
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Nhóm Nghiên cứu Đề tài
Đỗ Phúc
Tiến sĩ Tin học ĐH Công nghệ Thông tin, ĐHQG
Thạc sĩ Tin học Khoa CNTT, ĐHKHTN, ĐHQG
Thạc sĩ Tin học Selab, ĐHKHTN, ĐHQG
Đỗ Hoàng Cường
Nguyễn Tri Tuấn
Huỳnh Thụy Bảo Trân
Nguyễn Văn Khiết
Nguyễn Việt Hoàng
Nguyễn Việt Thành
Phạm Phú Hội
Thạc sĩ Tin học Khoa CNTT, ĐHKHTN, ĐHQG
Thạc sĩ Tin học Khoa CNTT, ĐHKHTN, ĐHQG
Cao học Tin học Khoa CNTT, ĐHKHTN, ĐHQG
Cao học Tin học Khoa CNTT, ĐHKHTN, ĐHQG
Cao học Tin học ĐH Công nghệ Thông tin, ĐHQG
Cao học Tin học Selab, ĐHKHTN, ĐHQG
Dương Ngọc Long Nam
Nguyễn Phước Thanh Hải Cao học Tin học Selab, ĐHKHTN, ĐHQG
Trang 1
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Nội dung
MỞ ĐẦU............................................................................................................. 5
PH ẦN I: ..................................................................................................... 6
1
TÌM HIỂU VÀ SO SÁNH MỘT SỐ S.E THÔNG DỤNG HIỆN NAY ........... 6
1.1 MỘT SỐ S. E NƯỚC NGOÀI THÔNG DỤNG HIỆN NAY (xem
Bảng Tổng hợp chi tiết trong Phụ lục 1, 2,3).................................................. 6
1.1.1
1.1.2
1.1.3
GOOGLE...................................................................................... 6
LYCOS ......................................................................................... 9
ALTA VISTA............................................................................. 10
1.2 MỘT SỐ S. E TIẾNG VIỆT THÔNG DỤNG HIỆN NAY (xem
Bảng tổng hợp chi tiết trong Phụ lục 4)........................................................ 12
1.2.1
1.2.2
NETNAM ................................................................................... 12
VINASEEK ................................................................................ 16
1.3 NHẬN XÉT – SO SÁNH VỀ MỘT SỐ S.E. .................................. 17
1.3.1
1.3.2
SO SÁNH. .................................................................................. 17
NHẬN XÉT................................................................................ 19
2
PHẦN 2:.................................................................................................... 23
XÂY DỰNG TỪ ĐIỂN NGỮ NGHĨA THUẬT NGỮ TIN HỌC................... 23
2.1 TÌM KIẾM THEO NGỮ NGHĨA...................................................... 23
2.2 BIỂU DIỄN NGỮ NGHĨA ................................................................ 24
2.2.1
2.2.2
ĐỒNG HIỆN (CO-OCCURRENCE)......................................... 24
HỆ THỐNG QUAN HỆ ĐỒNG NGHĨA ĐƠN GIẢN.................... 25
2.3 ONTOLOGY...................................................................................... 42
2.3.1
2.3.2
2.3.3
2.3.4
XÂY DỰNG ONTOLOGY........................................................ 42
TRAO ĐỔI ONTOLOGY .......................................................... 44
XÂY DỰNG ONTOLOGY TỪ VĂN BẢN.............................. 45
XÂY DỰNG ONTOLOGY CHUYÊN NGÀNH TIN HỌC ..... 51
Trang 2
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
2.3.5
BIỂU DIỄN ONTOLOGY TRONG CƠ SỞ DỮ LIỆU ............. 55
2.4 BIỂU DIỄN CẤU TRÚC PHÂN CẤP CỦA ONTOLOGY TRONG
CƠ SỞ DỮ LIỆU QUAN HỆ....................................................................... 62
2.4.1
CÁC NHƯỢC ĐIỂM CỦA CÁCH BIỂU DIỄN BẰNG CON
TRỎ. 62
2.4.2
2.4.3
BIỂU DIỄN CẤU TRÚC CÂY TRONG ORACLE.................. 63
NHẬN XÉT............................................................................... 71
KẾT LUẬN................................................................................. 72
2.5.
3
PHẦN III:.................................................................................................. 73
THIẾT KẾ HỆ THỐNG S.E VÀ KẾT QUẢ THỬ NGHIỆM........................ 73
3.1 THIẾT KẾ HỆ THỐNG..................................................................... 73
3.1.1
3.1.2
3.1.3
Đặt tả Hệ thống:.......................................................................... 73
Thiết kế các Chức năng của Hệ thống........................................ 73
Thuật giải nhận dạng bảng mã.................................................... 83
3.2 CÀI ĐẶT HỆ THỐNG. ..................................................................... 86
3.2.1 Tổ chức Các Giao diệnModule WebRobot. ............................... 86
3.3 Kết quả thử nghiệm............................................................................ 95
4. KẾT LUẬN……………………………………………………………….100
PH Ụ L ỤC...................................................................................................... 101
PHỤ LỤC 1. BẢNG TÓM TẮT ĐẶC TRƯNG CỦA MỘT SỐ S.E NƯỚC
NGOÀI............................................................................................................ 101
PHỤ LỤC 2. BẢNG TÓM TẮT ĐẶC TRƯNG MỘT SỐ META-S E NƯỚC
NGOÀI............................................................................................................ 103
PHỤ LỤC 3. BẢNG TÓM TẮT MỘT SỐ HỆ THỐNG DANH MỤC
(SUBJECT DIRECTORIES).......................................................................... 104
PHỤ LỤC 4.
BẢNG TÓM TẮT ĐẶC TRƯNG CỦA MỘT SỐ S.E
TRONG NƯỚC. ............................................................................................. 105
PHỤ LỤC 5. QUAN HỆ GIỮA ĐỘ CHÍNH XÁC & ĐỘ GỌI LẠI........... 106
PHỤ LỤC 6. THỐNG KÊ VỀ PHÂN HẠNG CỦA CÁC DOMAIN .......... 107
PHỤ LỤC 7. SƠ ĐỒ QUAN HỆ S.E........................................................... 110
Trang 3
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
PHỤ LỤC 8: CÁC MÃ NGỮ NGHĨA CỦA LDOCE .................................. 111
PHỤ LỤC 9. TỔNG QUAN VỀ CÔNG NGHỆ ORACLE TEXT ĐỂ PHÁT
TRIỂN S.E. ..................................................................................................... 112
PHỤ LỤC 10. SƠ LƯỢC VỀ THƯ VIỆN VNCONVERT:...................... 116
TÀI LIỆU THAM KHẢO. ............................................................................. 118
CÁC TRANG WEB....................................................................................... 119
Trang 4
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
MỞ ĐẦU
Hiện nay, InterNET đã trở thành một Siêu Xa lộ Thông tin, cung cấp
thông tin cho mọi người, ở mọi nơi, trong mọi ngành, mọi lãnh vực. Hiện nay
trên thế giới có rất nhiều SEARCH ENGINE chẳng hạn như GOOGLE (xem
[2], [3], [5]), YAHOO, ALLTHEWEB, ALTA VISTA (xem [4]), … có khả
năng tìm kiếm trên nhiều ngôn ngữ khác nhau, nhưng với Tiếng VIÊT vẫn có
hạn chế. Và trong nước cũng có vài SEARCH ENGINE chẳng hạn như
NETNAM (xem [7]), VINASEEK (xem [8]),… ]),… Mặc dù đã có rất nhiều
SEARCH ENGINE, nhưng vẫn rất cần thiết có một sự nghiên cứu đầy đủ để
phát triển một Hệ thống SEARCH ENGINE trên tiếng VIỆT có chú ý đến từ
khóa là TỪ GHÉP và NGỮ NGHĨA trong lãnh vực Công nghệ thông tin
(CNTT). Trên cơ sở này, có thể phát triển một Hệ thống SEARCH ENGINE
tiếng VIỆT tổng quát cho mọi lãnh vực.
Thời gian thực hiện Đề tài là 18 tháng từ tháng 01/2003 đến 07/2004.
Bản báo cáo này nhằm trình bày một số kết quả bước đầu:
PHẦN I. Thu thập và nghiên cứu tính năng của một số SEARCH ENGINE
thông dụng. So sánh và đánh giá các SEARCH ENGINE (S.E) này.
PHẦN II. Xây dựng Từ điễn ngữ nghĩa Thuật ngữ Tin học.
PH ẦN III. Thiết kế Hệ thống & kết quả thử nghiệm.
Trang 5
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
1 PHẦN I:
TÌM HIỂU VÀ SO SÁNH MỘT SỐ S.E THÔNG
DỤNG HIỆN NAY
Phần này nhằm tìm hiểu phương thức hoạt động và tóm tắt các đặc trưng
chính của một số search engine tiếng Anh, tiếng Việt thông dụng hiện nay. Đưa
ra những so sánh về sự giống nhau, khác nhau và những nhận xét về xu hướng
hoạt động, xử lý thông tin của chúng. Đồng thời đánh giá hiệu năng hoạt động
và thống kê vài số liệu xử lý của một số S.E cụ thể.
1.1 MỘT SỐ S. E NƯỚC NGOÀI THÔNG DỤNG HIỆN NAY (xem
Bảng Tổng hợp chi tiết trong Phụ lục 1, 2,3).
1.1.1 GOOGLE
Hiện nay, GOOGLE là một trong các S.E được ưa chuộng nhất. Để đạt
được kết quả tìm kiếm với độ chính xác cao thì cần phải nhắc đến hai đặc trưng
quan trọng của Google, đó là việc sử dụng cấu trúc của các siêu liên kết để tính
độ phổ biến (pageRank) (phân hạng) cho mỗi trang web. Đặc trưng thứ hai là
tận dụng lại những siêu liên kết để cải tiến kết quả tìm kiếm.
GOOGLE được cài đặt bằng C hay C++, có thể hoạt động trên cả
Solaris và Linux Việc dò tìm các trang web thực hiện bởi các bộ dò tìm (web
crawler) được đặt phân tán. Một Máy chủ (Server) sẽ đảm nhận việc gửi danh
sách các URL cần tìm đến cho các bộ dò tìm. Các trang web tìm về sẽ được lưu
trữ vào kho của các server dưới dạng nén. Khi phân tích một URL mới, mỗi
trang web sẽ được gán một số hiệu nhận dạng, gọi là DocID. Việc lập chỉ mục
thực hiện bởi bộ lập chỉ mục (Indexer) và bộ sắp xếp (Sorter). Bộ lập chỉ mục
thực hiện các chức năng như đọc kho dữ liệu, giản nén và phân tích các tài liệu.
Mỗi tài liệu được chuyển đổi thành tập tần số xuất hiện của các từ, gọi là các
hit.
Trang 6
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Các hit ghi nhận từ, vị trí trong tài liệu, kích thước font xắp xỉ, và chữ
hoa hay chữ thường. Bộ chỉ mục phân phối các hit này vào trong một tập các
barrels (thùng), tạo một chỉ mục thuận đã sắp xếp theo từng phần. Ngoài ra, bộ
chỉ mục còn phân tích tất cả liên kết trong mỗi trang web và lưu thông tin quan
trọng về chúng trong một anchor file. Tập tin này chứa đủ thông tin để xác định
liên kết này từ đâu, chỉ đến đâu và chứa đoạn văn bản liên kết. Trình phân giải
URL đọc tập tin các neo tạm thời (anchor) và chuyển các URL tương đối
thành các URL tuyệt đối và trả về các docID. Đặt văn bản neo vào chỉ mục
forward có liên quan đến docID mà neo chỉ đến và tạo một cơ sở dữ liệu
tương ứng giữa các liên kết với các docID. Cơ sở dữ liệu này được dùng để tính
các PageRank cho tất cả các tài liệu.
Bộ sắp xếp lấy các barrel, đã được sắp xếp cục bộ, và sắp xếp lại chúng
theo docID để sinh ra một chỉ mục nghịch đảo. Công việc này được thực hiện
ngay tại chỗ nên không mất nhiều bộ đệm. Bộ sắp xếp cũng đồng thời sinh ra
một danh sách WordID và bù lại cho chỉ mục nghịch đảo. Một chương trình gọi
là DumpLexicon lấy danh sách này và từ vựng (lexicon) được sinh bởi bộ lập
chỉ mục và tạo một từ vựng mới được dùng cho bộ tìm kiếm (searcher). Bộ tìm
kiếm được chạy bởi một web server và sử dụng từ vựng đã được DumpLexicon
xây dựng cùng với chỉ mục nghịch đảo và các PageRank để trả lời các truy vấn.
Tốc độ tìm kiếm của Google phụ thuộc và hai yếu tố: hiệu quả của thuật
toán tìm kiếm và sự liên kết xử lý của hàng ngàn hàng ngàn máy tính cấp thấp
để tạo nên một S.E siêu tốc.
Google sắp thứ tự các kết quả một cách tự động nhờ vào hơn 100 bộ xử
lý, sử dụng thuật toán tính độ phổ biến PageRank.
Phần mềm quan trọng nhất là PageRank, một hệ thống phân loại các
trang web được phát triển bởi Larry Page và Sergey Brin ở đại học Stanford.
PageRank sử dụng cấu trúc liên kết của các trang web như một giá trị chỉ báo
ban đầu cho trang riêng lẻ đó. Thực chất, Google xem các liên kết từ trang A
đến trang B như một lá phiếu từ trang A cho trang B. Google còn xem xét một
khối lượng lớn các lá phiếu khác, hay phân tích liên kết trong các trang nhận
Trang 7
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
được để thu thập lá phiếu. Việc thu thập các lá phiếu nhằm xác định trọng số
hay độ quan trọng của trang web. Những site chất lượng cao sẽ nhận được độ
phổ biến cao, đây chính là giá trị được xem xét đến trong quá trình tìm kiếm.
Dĩ nhiên, một trang quan trọng sẽ không có giá trị nếu nó không phù hợp với
câu truy vấn. Google kết hợp pagerank với một kỹ thuật so khớp từ khoá tinh vi
để tìm ra các trang mà nó vừa quan trọng lại vừa phù hợp với nội dung tìm
kiếm. Để tìm được kết quả phù hợp nhất cho câu truy vấn Google không chỉ
dựa trên số lần từ tìm kiếm xuất hiện mà còn xem xét đến nội dung của trang
và nội dung của các trang liên kết đến nó.
Hệ thống chỉ mục của Google được cập nhật hàng tháng. Mỗi khi cơ sở
dữ liệu các trang web cập nhật thì có những thay đổi: thêm site mới, mất site cũ
và phân hạng của một số site có thể thay đổi. Sự phân hạng ban đầu của một
site có thể bị ảnh hưởng bởi sự phân hạng lại của các site khác. Không một ai
có can thiệp để nâng kết quả phân hạng cho một site, những kết quả trả về đều
được xác định hoàn toàn tự động.
Mặc dù chức năng tìm kiếm trên Yahoo được hỗ trợ bởi Google, nhưng
cách xử lý các truy vấn của hai site này không hoàn toàn giống nhau. Vì vậy
kết quả của cả hai cũng không thể nào giống nhau một cách hoàn toàn. Điều
này không phải là lỗi của một S.E nào cả mà chỉ đơn thuần phản ánh sự khác
nhau trong tuần suất mà mỗi site dùng để cập nhật thông tin hay số lượng các
trang thông tin mà hệ thống đã xử lý. Thuật toán tìm kiếm cơ bản của hai hệ
thống giống nhau hoàn toàn. Tính năng bộ nhớ đệm (lưu trữ tạm thời nội dung
của trang web để tăng tốc độ truy cập hoặc tìm kiếm) của GOOGLE, được giới
thiệu vào năm 1997, là một tính năng độc đáo so với các công cụ tìm kiếm
khác, nhưng không giống các site lưu trữ trên web lưu trữ lại bản sao của các
trang web. Tính năng này cho phép mọi người truy cập vào một bản sao của
hầu như bất kỳ website nào, ở dạng mà lần cuối cùng Google phân loại và lập
chỉ mục. Có thể trang web cache này được truy cập có tuổi đời chỉ vài phút
hoặc vài tháng, điều này tùy thuộc vào lần cuối cùng mà Google tìm đến lập
chỉ mục. Không như những dự án lưu trữ web khác, tính năng cache của
Trang 8
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Google không cố gắng tạo ra một bản sao lưu trữ cố định của trang web mà
thực hiện tìm kiếm liên tục các đường link chết để xóa bỏ, khi nào trang web
không còn tồn tại thì công cụ tìm kiếm sẽ thanh lọc các cache có liên quan đến
link đó trong thời gian sớm nhất có thể. Tuy nhiên tính năng cache này cũng
làm cho Google phải đụng chạm đến vấn đề bản quyền vì người tìm kiếm đôi
khi có thể xem được các thông tin, bài viết chỉ dành riêng cho các thuê bao có
đăng ký.
Hiện nay GOOGLE đã xử lý hơn 8 tỷ trang tài liệu, đang thử nghiệm một
Tuy nhiên, GOOGLE vẫn còn hạn chế trong tìm kiếm tiếng Việt
1.1.2 LYCOS
Thế giới của Lycos là gia đình nhện Lycosidae, nó liên tục duyệt các
trang web để tìm thông tin. Kết quả tìm kiếm sau đó được trộn vào catalog theo
chu kỳ hàng tuần. Lycos giúp người dùng tìm các tài liệu Web chứa các từ
khóa đặc biệt do người dùng cung cấp. Lycos nhanh chóng trở nên rất phổ biến
đối với những người dùng Web có nhu cầu tìm kiếm toàn bộ nội dung (full-
content) trong không gian các tài liệu.
Lycos định nghĩa không gian Web là bất kỳ tài liệu nào trong các không
gian HTTP, FTP, Gopher. Lycos có thể lấy các tài liệu mà nó chưa từng tìm
kiếm bằng cách dùng text trong tài liệu mẹ như là một mô tả cho các kết nối
chưa được khám phá (anchor text). Tuy nhiên, Lycos không tìm kiếm và index
các không gian ảo vô hạn, hay biến đổi. Do đó, Lycos bỏ qua các không gian
sau:các CSDL WAIS, Usenet news, không gian Mailto, các dịch vụ Telnet,
không gian tập tin cục bộ.
Nhằm giảm lượng thông tin cần lưu trữ, từ những tài liệu thu được
Lycos chỉ lưu các thông tin sau: tựa đề, heading và sub-heading, 100 từ quan
trọng nhất, 20 dòng đầu tiên, kích thước tính theo bytes, số từ. Lựa chọn 100 từ
quan trọng, được thực hiện theo thuật toán định lượng, dựa trên việc xem xét vị
trí và tần số của từ. Các từ được cho điểm theo mức độ nhúng sâu vào tài liệu.
Trang 9
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Do đó, các từ xuất hiện trong tựa đề và đoạn đầu tiên sẽ được tính điểm cao
hơn.
Lycos sử dụng phương pháp thống kê để lướt qua các server trong không
gian Web, nhằm tránh làm quá tải một server với hàng loạt các yêu cầu và cũng
cho phép Lycos tăng độ ưu tiên đối với các Url nhiều thông tin hơn. Các bước
cơ bản của thuật toán như sau:
1. Khi một tìm thấy một Url, Lycos quét qua nội dung của nó, tìm các tham
chiếu đến các Url mới và đưa vào một hàng đợi nội bộ.
2. Để chọn Url kế tiếp, Lycos lựa ngẫu nhiên một tham chiếu trong hàng đợi
trên theo độ ưu tiên.
Lycos thường tìm kiếm các tài liệu phổ biến, đó là các tài liệu có nhiều kết
nối, Lycos cũng ưu tiên cho các Url ngắn gọn, chính là các thư mục ở mức cao
nhất (top-level) và các tài liệu gần gốc hơn.
1.1.3 ALTA VISTA
Vào cuối năm 2002, Alta Vista đã thực hiện nâng cấp hệ thống tìm kiếm
và hiện nay trang web này đã có hơn 65 triệu lượt người truy cập mỗi tháng.
Hiện nay Alta Vista có 250 nhân viên và công cụ tìm kiếm này được thể hiện
với 25 thứ tiếng.
Alta Vista là một S.E rất mạnh về tìm kiếm theo từ khóa. Cho phép tìm
kiếm theo nhiều cụm từ bằng cách đặt những cụm từ cần tìm vào trong hai dấu
nháy kép. Ví dụ: "search engine" or "information retrieval". Ngoài ra, Alta
Vista còn cung cấp nhiều lựa chọn để cải tiến việc tìm kiếm. Giống như những
S.E khác, Alta Vista cũng tổ chức dữ liệu thành từng nhánh thư mục, như: tin
tức, du lịch, thể thao, sức khỏe. …. Bên cạnh đó, AltaVista còn có những tính
năng đặt biệt, ví dụ như người dùng nhập vào một truy vấn, bên cạnh kết quả
tìm được, AltaVista còn đưa ra một số câu hỏi liên quan đến vấn đề tìm kiếm
để gợi ý. Chẳng hạn, nếu tìm mục "dog"( con chó), AltaVista sẽ đưa ra câu hỏi
"Hot dog (xúc xích nóng) làm như thế nào?" cùng với nút Answer để kết nối
tới các site liên quan.
Trang 10
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Trên biểu mẩu tìm kiếm cơ bản của AltaVista, người dùng có thể chỉ
định kết quả khai báo bằng một trong 25 thứ tiếng; tính năng này chỉ có trong
các biểu mẫu tìm kiếm nâng cao đối với các site khác. Ngoài ra, Alta Vista còn
hỗ trợ nhiều tiện ích, đặc biệt là công cụ Babelfish( babelfish.altavista.com)
cho phép dịch từng câu hay cả trang web giữa các tiếng Anh, Pháp, Ý, Tây Ban
Nha …
Alta Vista có những web crawler thường xuyên đi dò và lấy về những
dữ liệu text, sau đó chuyển cho bộ lập chỉ mục. Crawler chính tên là Scooter,
và nó có thêm những hệ thống con đảm nhận việc kiểm tra và duy trì các kết
quả trong hệ thống index hiện hành, như là kiểm tra các siêu liên kết nào không
hoạt động (dead link), đã di chuyển sang nơi khác hay không còn tồn tại, để có
những xử lý thích hợp như sẽ loại những trang này khỏi hệ thống chỉ mục.
Scooter phát đi cùng một lúc hàng ngàn các tiến trình. Trong 24 giờ một ngày,
7 ngày một tuần, scooter và các hệ thống con của nó truy cập đến hàng ngàn
trang web trong cùng một thời điểm, như hàng ngàn người mù bắt lấy các dữ
liệu text, kéo về hệ thống và chuyển cho hệ thống lập chỉ mục và đến ngày hôm
sau thì những dữ liệu đó đã được lập chỉ mục. Trong lúc duyệt những trang
web thì tất cả các siêu liên kết tìm thấy trong đó sẽ được đưa vào một danh
sách để duyệt vào lần kế tiếp. Trong một ngày thường Scooter và những hệ
thống con của nó sẽ duyệt qua trên 10 triệu trang web.
Hoạt động của Alta Vista không giống như những S.E khác. Không chỉ
quan tâm đến dữ liệu metatag (những câu lệnh đặc biệt được nhúng vào trong
header của trang web) mà nó còn quan tâm đến tất cả mọi từ trong trang web.
Chúng ta thường nghĩ rằng những gì có thứ tự cũng tốt hơn những gì không
được sắp thứ tự, nhưng điều này thì không đúng đối với Alta Vista, nó thực
hiện lập chỉ mục trên toàn bộ văn bản (full-text indexing). Và một quan niệm
chung cho rằng: nếu có quá nhiều dữ liệu và cần phải tìm kiếm, rút trích thông
tin trong đó thì chỉ có cách duy nhất là quản lý bằng một hệ quản trị cơ sở dữ
liệu. Có nghĩa là cần phải xác định các trường dữ liệu, phân loại các thông tin
…. Như vậy, có rất nhiều việc phải thực hiện khi xác lập hệ thống và bảo trì nó.
Trang 11
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Đối với Alta Vista thì ngược lại, dữ liệu không phân hạng và cũng không cần
bảo trì. Tất cả các tập tin đều không có cấu trúc và cũng không có thứ tự.
1.2 MỘT SỐ S. E TIẾNG VIỆT THÔNG DỤNG HIỆN NAY (xem
Bảng tổng hợp chi tiết trong Phụ lục 4).
1.2.1 NETNAM
NetNam là một trong số ít ỏi các S.E dành cho tiếng Việt. NetNam chú
trọng đến việc thiết kế hệ thống phù hợp với điều kiện cơ sở vật chất, hạ tầng
của Việt Nam Vì thế nên hệ thống được thiết kế theo kiến trúc xử lí song song,
với các khối chức năng được minh hoạ như Hình1. Kiến trúc này cho phép hệ
thống có thể hoạt động phân tán từ một đến hàng trăm máy tính, cho phép các
máy tính cỡ nhỏ thay thế cho các hệ máy chủ cao cấp. Khi nhu cầu phục vụ
tăng lên thì chỉ cần thêm máy tính vào hệ thống mà không cần bổ sung thêm
bất cứ thành phần nào. Về mặt vật lí các máy tính trong hệ thống có thể kết nối
với nhau bằng hệ thống mạng Ethernet 10/100/1000Mbps. Hệ thống cho phép
thay đổi nóng (hotswap) một hoặc vài máy tính khi hệ thống gặp sự cố mà
không ảnh hưởng gì đến hoạt động tổng thể.
Hệ thống chia thành ba tầng chính theo như Hình1: thu thập thông tin,
nhận dạng và chuyển đổi thông tin thành dạng text, lập cơ sở dữ liệu cho các
thông tin text.
Mỗi tầng chia thành nhiều đơn vị độc lập, hoạt động theo kiểu chia sẻ
tính toán hoặc dự trữ. Đơn vị khai thác dữ liệu được tích hợp cùng với phần lập
chỉ mục cơ sở dữ liệu, cho phép người dùng sử dụng giao thức TCP/IP khai
thác trên bất cứ hệ thống nào (Windows, Unix…)
Trang 12
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Hình I.1. Sơ đồ hệ thống S.E của NetNam
Bằng việc chia hệ thống thành các khối chức năng phối hợp nhau thông qua Bộ
điều phối, hệ thống có thể phân tán xử lí trên nhiều máy tính nhỏ. Nhờ đó mà
lượng dữ liệu hệ thống có thể xử lí lên rất cao.
Trang 13
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Phương thức lập chỉ mục của S.E NetNam
NetNam lập chỉ mục tất cả các từ trong tài liệu, và khi trả kết quả tìm kiếm,
NetNam search engine tìm ra tất cả các từ trong một trang tài iệu đó, và hiển thị
một số từ đầu tiên như một bảng tóm tắt ngắn. Khi tìm kiếm có thể dùng thẻ
Meta để tăng cơ hội tìm kiếm; đưa ra các miêu tả riêng để hiển thị kết quả tìm
kiếm.
Cú pháp tìm kiếm của S.E NetNam
Từ và cụm từ: S.E NetNam định nghĩa một từ như một chuỗi những chữ cái
và con số được tách rời nhau.
Phần mềm tìm kiếm sẽ chỉ ra tất cả các từ mà nó tìm được trong một trang tài
liệu web mà không quan tâm đến việc từ đó có trong từ điển hay đánh vần sai
hay không.
Tìm kiếm cụm từ: Để tìm được một cụm từ, dùng ngoặc kép ở đầu và cuối
cụm từ. Cụm từ đảm bảo rằng S.E NetNam sẽ tìm được các từ đúng như thế (vị
trí, thứ tự, không có từ chen giữa...), chứ không phải là tìm được riêng từng từ
một.
Hệ thống chấm câu S.E NetNam sẽ bỏ qua mọi chấm câu trừ trường hợp chấm
câu đó là một dấu chia cách giữa các từ. Đặt hệ thống chấm câu hoặc các ký tự
đặc biệt giữa các từ, và giữa chúng không có dấu cách, cũng là một cách để tìm
một cụm từ. Một ví dụ cho thấy hệ thống chấm câu rất hữu dụng trong việc tìm
một cụm từ đó là trường hợp tìm số điện thoại. Ví dụ để tìm được một số điện
thoại 0903401357, gõ 09-0340-1357 thì sẽ dễ tìm hơn là gõ theo kiểu "09 0340
1357", mặc dù đây cũng là một cú pháp có thể chấp nhận được nhưng ít phổ
biến. Các từ có dấu nối ở giữa như CD-ROM, cũng tự động làm thành một cụm
từ do có dấu gạch nối ở giữa. Tuy nhiên, thông thường, sử dụng dấu ngoặc kép
để tìm một cụm từ là cách được khuyến khích dùng hơn là sử dụng hệ thống
chấm câu, vì một số ký tự đặc biệt còn có nghĩa phụ:
Trang 14
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Dấu + và - là những toán tử giúp lọc kết quả của một tìm kiếm đơn giản.
&, |, ~ và ! là những toán tử giúp lọc kết quả của một tìm kiếm nâng cao
Phân biệt chữ thường/hoa Phân biệt dạng chữ là một loại tìm kiếm dựa vào
loại chữ mà do người dùng gõ vào.
Một yêu cầu bằng chữ thường sẽ có kết quả tìm kiếm không theo dạng chữ
gõ vào. Ví dụ, nếu gõ chữ yết kiêu vào ô yêu cầu, S.E NetNam sẽ tìm tất cả
các biến thể của từ yết kiêu, gồm có yết kiêu, Yết Kiêu, YếT KIÊU, v.v...
Nếu yêu cầu có cả chữ hoa, thì kết quả tìm kiếm sẽ là tìm kiếm theo dạng
chữ. Ví dụ, nếu quý vị điền Yết Kiêu vào ô yêu cầu, S.E NetNam sẽ tìm tất
cả các biến thể của Yết Kiêu chỉ với chữ đầu tiên là chữ hoa. Nó sẽ không
trả về các văn bản có chữ YếT KIÊU hay yết kiêu.
Sử dụng từ khoá để lọc các tìm kiếm
Cả giao diện của search engine đơn giản và nâng cao đều hỗ trợ việc sử dụng
các từ khoá để hạn chế tìm kiếm tới các trang đáp ứng tiêu chuẩn được định rõ
về nội dung và cấu trúc của một trang web. Sử dụng từ khoá, có thể tìm kiếm
dựa vào URL hoặc một phần của một URL, hoặc dựa vào các liên kết, hình
ảnh, văn bản, mã hoá của một trang web. Các từ khoá sẽ rất có ích trong trường
hợp:
Tìm các trang trên một máy chủ nào đó hoặc trong một tên miền chỉ định
Tìm các trang có chứa các liên kết trỏ tới trang web chỉ định
Tìm các trang có chứa một lớp Java applets.
Tìm kiếm dựa vào từ khoá, gõ một yêu cầu bằng từ khoá lệnh tìm kiếm
Gõ từ khoá bằng chữ thường, sau đó là dấu hai chấm. Quy ước để tìm một cụm
từ trong lệnh tìm kiếm sẽ giống với quy ước để tìm một cụm từ trong một yêu
cầu bình thường: phương pháp thường được sử dụng nhất là cho cụm từ vào
trong ngoặc kép. title:"thời trang"
Trang 15
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Các từ khoá có thể sử dụng trong việc tìm kiếm của NetNam: anchor:link;
applet:class; domain:domainname; host:name; image:filename; link:URLtex;
title: cụm từ; url: cụm từ
Các từ khoá url, host, domain, đều có một mục đích là tìm kiếm các URL dựa
vào một phần URL, hoặc dựa vào tên máy chủ hoặc tên miền nơi có các trang
web cần tìm.
Các từ khoá link và anchor cũng tương tự như khi chúng tìm kiếm thông tin về
liên kết. Từ khóa link tìm các văn bản trong một URL là đích của một liên kết
văn bản hiện tại của một siêu liên kết khi người dùng nhìn thấy nó trên một
trang web
Thẻ title sẽ tìm kiếm nội dung tiêu đề của một tài liệu. Từ khoá tiêu đề sẽ giới
hạn việc tìm kiếm tới văn bản mà tác giả của tài liệu đã mã hoá như một phần
của thẻ <title>. Tiêu đề là cụm từ sẽ xuất hiện trong đầu đề cửa sổ trong trình
duyệt web. Từ khoá tiêu đề có thể sẽ là một cách tốt để giới hạn tìm kiếm chỉ
tới các trang về một chủ đề, gồm các trang được đặt tiêu đề một cách thông
minh. Tuy nhiên với các trang mà người lập nên không quan tâm đến tiêu đề
trang web hoặc đặt tên kém thì cách tìm này không dùng được. Hơn nữa, hệ
thống tìm kiếm của NetNam có thể cấu hình để nhận biết các thuộc tính phụ
khác của tài liệu có các thẻ HTML META do người dùng quy định.
1.2.2 VINASEEK
VinaSeek là một S.E cho các web site tiếng Việt của Công ty Công nghệ
Tin học Tinh Vân, cho phép tìm kiếm và hiển thị theo bất kỳ bảng mã nào.
Cùng với khả năng xử lý tiếng Việt, VinaSeek còn có đầy đủ các tính năng của
một công cụ tìm kiếm trên Internet như tính chính xác, đầy đủ, tính cập nhật
cũng như tốc độ tìm kiếm. Các web site khác có thể dùng VinaSeek làm công
Trang 16
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
cụ tìm kiếm riêng cho mình. Chu kỳ tạo chỉ mục của VinaSeek là 5 ngày, thời
gian tìm kiếm trung bình là 0.3 giây.
Hiện nay VinaSeek đổi tên thành UniVIS và đã được đóng gói nhằm mục
tiêu phục vụ các hệ thống dữ liệu sử dụng tiếng Việt. UniVIS là hạt nhân của
dịch vụ VinaSeek, nên có toàn bộ những tính năng ưu việt của dịch vụ
VinaSeek. UniVIS có khả năng tạo chỉ mục cho hàng triệu văn bản các loại
(HTML, XML, MS Word, PDF, RTF…) và các cơ sở dữ liệu lớn trên Oracle,
MS SQL và DB2. Đặc biệt, UniVIS còn có khả năng tùy biến giao diện, dễ
dàng cài đặt và quản trị. Quản trị mạng sẽ mất không đến 30 phút để cài đặt và
cấu hình uniVIS tạo chỉ mục và tìm kiếm được mọi văn bản trên các website đã
cài uniVIS.
1.3 NHẬN XÉT – SO SÁNH VỀ MỘT SỐ S.E.
1.3.1 SO SÁNH.
1.3.1.1 GIỐNG NHAU
Các S.E đều dùng một quy trình gồm ba giai đoạn: thu thập thông tin,
tạo chỉ mục trên thông tin, tìm kiếm trên chỉ mục và tìm kiếm, sắp xếp kết quả.
Nhưng mỗi search engine có giải pháp xử lý khác nhau nên có thể cho kết quả
khác nhau.
Hiện nay ngày càng nhiều các S.E kết hợp dịch vụ thư mục web vào
trong web site của họ. Những thư mục này tương tác với search engine chính
(primary search engine) theo nhiều cách khác nhau. Ví du: như Excite, Terra
Lycos, Alta Vista… không chỉ là một search engine. Đặc điểm chính của chúng
có thể mô tả như là những cổng truy cập Web (web portal) hay những trung
tâm truy cập, là nơi mà người dùng đi vào để lấy thông tin cho mọi lĩnh vực, kể
cả tán gẫu, gởi thư điện tử, …..
Trong việc phân tích từ khóa và tính độ phổ biến cũng có nhiều trường
hợp đặc biệt cần xem xét, ví dụ như trong trường hợp chuỗi cần xử lý và tìm
kiếm là “to be or not to be”, những S.E không tốt sẽ cho rằng chuỗi trên toàn là
Trang 17
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
những từ thông dụng không quan trọng để tính toán, và quá phổ biến. Để giải
quyết những trường hợp như trên thì các S.E cung cấp giải pháp là dùng hai
dấu nháy đôi để chứa chuỗi cần tìm, bắt buộc S.E tìm kiếm mọi cụm từ trong
hai nháy kép.
Hiện nay các S.E cung cấp cơ chế tự động thêm toán tử “AND” vào
giữa hai từ truy vấn. Kết quả tìm kiếm sẽ là những tài liệu phù hợp với toàn
cụm từ tìm kiếm và sau đó là những kết quả phù hợp với từng từ trong cụm từ.
1.3.1.2 KHÁC NHAU
Yahoo lập chỉ mục tốt nhất. S.E dùng phần mềm con nhện này bò khắp
nơi trên mạng, nhắm đến nhiều site khác nhau và theo mọi siêu liên kết trên
từng trang để tạo chỉ mục. Chất lượng các chỉ mục thay đổi tùy theo chúng có
thường xuyên được cập nhật hay không, bao lâu thì các trang web đã bị xóa
khỏi site cũng bị xóa khỏi chỉ mục đó. Kết quả truy tìm có đúng là thứ ta cần
hay không cũng còn tùy bởi lập chỉ mục bằng con nhện có thể đưa vào những
metatag do các webmaster thêm vào, tiêu đề, từ khoá ngữ đoạn lấy từ các trang
đó. Những yếu tố này đều có thể dẫn tới kết quả sai lạc, đặc biệt là do nhiều
Webmaster lạm dụng chúng để dồn thông tin về web site của họ. Chính vì vậy
mà yahoo, với diễn đàn site được tạo bởi con người và khả năng truy tìm mạnh
theo từ khóa, thường tìm ra đúng những thứ người dùng tìm hơn.
Một điểm khác biệt lớn giữa các S.E là việc sắp xếp lại các kết quả tìm kiếm
được. Các S.E sau khi tìm được những kết quả sẽ thực hiện tác vụ lọc bớt
những kết quả trùng hay những kết quả có độ chính xác kém. Sắp xếp các kết
quả này theo một trật tự nào đó, như theo độ chính xác của tài liệu…. Mỗi S.E
có một cơ sở dữ liệu khác nhau và chiến lược xử lý kết quả khác nhau nên kết
quả trả về cho người sử dụng cũng rất khác nhau.
Trang 18
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
1.3.2 NHẬN XÉT.
Mục tiêu của người dùng khi tìm kiếm là:
Tìm ra tất cả các thông tin có liên quan: gọi là Perfect recall (độ gọi lại cao
nhất), sao cho chúng không bị quá tải.
Không nhận bất kỳ tài liệu nào không có liên quan: gọi là High Precision
(độ chính xác cao nhất)
Hai độ đo trên mâu thuẫn với nhau. Perfect Recall có thể cho kết quả tìm
kiếm là tất cả những gì có trên web. Nhưng còn pricision thì là tối thiểu. Một
trình duyệt phải dùng những phương thức nào đó để cực đại hoá độ chính xác
của các kết quả trả về (bằng cách phân hạng kết quả) (Xem Chi tiết trong
Phụ lục 5, 6,7)
Hầu hết các S.E lập chỉ mục “bằng tay” đều mang lại kết quả tốt hơn so với
lập chỉ mục tự động. Nhìn chung, độ đo quan trọng nhất để đánh giá hiệu quả
hoạt động của một S.E là chất lượng của kết quả tìm kiếm. Các kết quả hợp lý
là các trang chất lượng cao, không có các liên kết bị gãy. Chi tiết xem Bảng
sau:
Trang 19
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Bảng I.1. Một Thí dụ về Kết quả tìm kiếm của Google
Query: bill clinton
100.00%
(no date) (0K)
Office of the President
99.67%
(Dec 23 1996) (2K)
Welcome To The White House
99.98%
(Nov 09 1997) (5K)
Send Electronic Mail to the President
99.86%
(Jul 14 1997) (5K)
mailto:president@whitehouse.gov
99.98%
mailto:President@whitehouse.gov
99.27%
The "Unofficial" Bill Clinton
94.06%
(Nov 11 1997) (14K)
Bill Clinton Meets The Shrinks
86.27%
(Jun 29 1997) (63K)
President Bill Clinton - The Dark Side
97.27%
(Nov 10 1997) (15K)
$3 Bill Clinton
94.73%
(no date) (4K)
Trang 20
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Ngoài chất lượng tìm kiếm, một khía cạnh của yêu cầu lưu trữ cần quan
tâm là phải sử dụng hiệu quả bộ nhớ. Bảng 2. trình bày một số thống kê và
một số yêu cầu lưu trữ của Google.
Bảng 2. Thống kê về dung lượng lưu trữ
Tổng dung lượng các trang web tìm được
Kho dữ liệu nén
147.8 GB
53.5 GB
4.1 GB
Chỉ mục nghịch đảo có thứ tự
Chỉ mục nghịch đảo ban đầu
Từ điển
37.2 GB
293 MB
6.6 GB
Dữ liệu neo (anchor) tạm thời
Document Index Inc1. Variable Width
Data
9.7 GB
Cơ sở dữ liệu các liên kết
Tổng dung lượng không kể kho lưu trữ
Tổng dung lượng kể cả kho lưu trữ
3.9 GB
55.2 GB
108.7 GB
Điều quan trọng nhất của một S.E là hiệu quả dò tìm và lập chỉ mục.
Các thông tin này có thể lưu giữ đến một hạn (date) và các thay đổi chủ yếu
đến hệ thống có thể được kiểm tra một cách tương đối nhanh chóng. Trong
Google, hoạt động chính là dò tìm, lập chỉ mục và sắp xếp. Thật khó để biết
bao lâu thì dò tìm hoàn thực hiện hoàn tất, vì nếu đĩa bị đầy, hay các sự cố
khác thì hệ thống sẽ bị ngừng hoạt động. Trong 9 ngày, lấy được 26 triệu trang
web (gồm cả lỗi). Tuy nhiên, nếu hệ thống hoạt động êm xuôi thì nó chạy
nhanh hơn và download khoảng 11 triệu trang chỉ trong 63 giờ, trung bình chỉ
hơn 4 triệu trang mỗi ngày hay 48,5 trang mỗi giây. Google có thể chạy bộ lập
chỉ mục và bộ dò tìm đồng thời. Bộ lập chỉ mục có thể chạy nhanh hơn các bộ
dò tìm, điều này có được là do bộ lập chỉ mục có đủ thời gian để tối ưu và
không bị tình trạng thắt cổ chai. Các tối ưu này nhờ việc cập nhật rất lớn cho
Trang 21
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
chỉ mục tài liệu và việc thay thế các cấu trúc dữ liệu quan trọng trên đĩa cục bộ.
Bộ lập chỉ mục thực hiện khoảng 54 trang trên mỗi giây. Các bộ sắp xếp có thể
thực hiện hoàn tất đồng thời; sử dụng 4 máy, thực hiện xử lý sắp xếp mất
khoảng 24 giờ.
Bảng 0. Phân tích số lượng các trang Web
Các trang web tìm được
Các URL tìm thấy
24 million
76.5 million
1.7 million
1.6 million
Các địa chỉ mail tìm thấy
Số lượng các lỗi 404's
Phiên bản hiện nay của Google trả lời hầu hết các truy vấn từ 1 đến 10
giây. Thời gian này hầu như bị chi phối bởi vào/ra đĩa trên NFS (vì các đĩa
được trải trên nhiều máy). Ngoài ra, Google không có bất kỳ sự tối ưu về cache
truy vấn, phân nhỏ lập chỉ mục trên các thuật ngữ chung, và các tối ưu hoá
chung khác. Để nâng cao tốc độ của Google người ta đang xem xét việc phân
tán phần cứng và phần mềm và cải tiến thuật toán. Mục đích cuối cùng là có
thể đáp ứng hàng trăm các truy vấn khác nhau trong một giây. Bảng 4. nói
lên thời gian truy vấn trên phiên bản hiện nay của Google.
Bảng 4. Thống kê thời gian tìm kiếm
Same Query Repeated (IO mostly
1.3.2.1.1.1.1.1 Initial
cached)
Query
Query
CPU
Total
CPU Time(s)
Total Time(s)
Time(s)
Time(s)
al gore
0.09
2.13
0.06
1.66
0.20
1.16
0.06
1.80
0.24
1.16
vice president
hard disks
1.77
0.25
1.31
3.84
4.86
9.63
search engine
Trang 22
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
2 PHẦN 2:
XÂY DỰNG TỪ ĐIỂN NGỮ NGHĨA THUẬT
NGỮ TIN HỌC
2.1 TÌM KIẾM THEO NGỮ NGHĨA
Tìm kiếm theo ngữ nghĩa là tìm đúng theo nghĩa mình mong muốn trong số
những nghĩa của từ mình muốn truy vấn.
Ví dụ:
với từ khóa tìm kiếm là: “cò” (theo nghĩa: con cò) thì kết quả tìm kiếm
có thể là: “Miền Tây Nam bộ có một số vườn cò rất lớn.”.
Tuy nhiên không phải lúc nào từ “cò” cũng có nghĩa con cò cho nên những
trường hợp sau sẽ không là kết quả của quá trình tìm kiếm trên:
“Khẩu súng đã cướp cò khi anh ấy sửa chữa.”
“Những tay cò mồi có rất nhiều mánh khoé trong làm ăn kinh tế.”
Bên cạnh đó tìm kiếm theo ngữ nghĩa còn là tìm những từ có ngữ nghĩa liên
quan chứ không đơn thuần là tìm chính xác nghĩa. Trong một số trường hợp
tìm đúng nghĩa của từ sẽ có kết quả hạn chế và không có tính ứng dụng cao.
Ví dụ:
Sau đây là một kết quả có thể có của quá trình tìm kiếm trên: “Sếu cổ
đỏ là một loài chim quý”.
Vì lý do sếu là một từ có cùng nguồn gốc với cò (theo nghĩa con cò).
Biểu diễn ngữ nghĩa có thể xem như một bài toán con của biểu diễn tri
thức. Trong những phần sau, chúng tôi đề cập đến các dạng quan hệ ngữ nghĩa
khác nhau (2), cũng như cách chúng được tổ chức thành hệ thống trong các hệ
biểu diễn ngữ nghĩa hiện có (3), phần (4) trình bày về WordNet, một từ điển
ngữ nghĩa hoàn chỉnh nhất hiện nay, phần (5) trình bày sơ lược về ontology, lý
Trang 23
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
thuyết chung cho các hệ thống biểu diễn ngữ nghĩa. Tiếp theo là các chi tiết kỹ
thuật của quá trình thực hiện đề án và báo cáo kết quả của đề án (6).
2.2 BIỂU DIỄN NGỮ NGHĨA
2.2.1 ĐỒNG HIỆN (CO-OCCURRENCE)
Trong văn bản, sự xuất hiện của các từ đều có quan hệ mật thiết với
nhau theo một ngữ nghĩa nào đó nhằm để diễn tả một ngữ cảnh xác định. Do đó
có những từ luôn đi cùng với nhau (đồng hiện) và mang một nghĩa xác định và
ngược lại.
Ví dụ:
trong văn bản có chứa từ “plant”, “factory”, “worker” thì nói chung từ
“plant” có nghĩa là nhà máy nhưng nếu văn bản có chứa các từ “plant”, tree”,
“orange” thì khi đó từ “plant” có nghĩa là thực vật.
Việc xác định các quan hệ đồng hiện này dựa trên việc thống kê trên
một tập ngữ liệu lớn nhằm bao quát được các ngữ cảnh khác nhau của các từ để
đảm bảo các quan hệ đồng hiện này luôn đúng trong mọi trường hợp.
Đây là hệ thống quan hệ được phát sinh qua phân tích ngữ liệu.
► network ----- network protocol
► network ----- node
► LAN server ----- central mass storage
► LAN server ----- network server
► LAN server ----- server
► LAN server ----- workstation
► License ----- Copyright
► License ----- Portions Copyright
► License ----- software licence
Trang 24
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
2.2.2 HỆ THỐNG QUAN HỆ ĐỒNG NGHĨA ĐƠN GIẢN
Từ điển LDOCE và LLOCE (Longman Dictionary of Contemporary
English và Longman Lexicon of Contemporary English) đã được sử dụng rộng
rãi để rút trích từ vựng cho xử lý ngôn ngữ tự nhiên và được sử dụng như là
một dạng từ điển máy tính có thể đọc được (machine-readable dictionary –
MRD). Tổ chức và tạo dựng chúng dựa trên phương pháp truyền thống để tạo
ra từ điển. Nhưng một số đặc điểm đã làm cho chúng đặc biệt phù hợp cho việc
tìm kiếm từ vựng cho xử lý ngôn ngữ tự nhiên.
LDOCE
LDOCE(Longman Dictionary of Contemporary English) là một từ điển
mà máy có thể đọc được có kích thước trung bình khoảng 45.000 mục từ và
75.000 nghĩa. Các mục từ được phân biệt dựa trên nguồn gốc của từ và từ loại
của chúng mà mỗi mục từ có thể có một hoặc nhiều mục nghĩa. Nghĩa của từ
được phân biệt dựa trên từ loại của chúng.
LDOCE được tổ chức theo ngữ nghĩa ở dạng phân cấp. Gồm 32 mã ngữ
nghĩa khác nhau được sử dụng trong LDOCE: Một sự phân biệt được tạo ra
giữa 19 mã cơ bản và 13 mã nối kết của những mã căn bản đó.
A (animal): thú vật
B( female animal): thú vật giống cái
C(concrete): cụ thể
D( male animal): thú vật giống đực
E (chất rắn hay chất lỏng (không phải thế khí))
F ( female human): phái nữ
H ( human): con người
…….
Những mã cơ bản này được tổ chức thành cây phân cấp:
Trang 25
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Hình II.1: cây phân cấp của LDOCE
Hầu hết các nghĩa của danh từ có một mã ngữ nghĩa. Đối với một số danh từ có
nhiều mã thì các mã này là cơ sở để phân loại nghĩa. Tuy nhiên đối với một số
động từ và tính từ, những mã này cho biết giới hạn sử dụng của đối số.
LLOCE
LLOCE (Longman Lexicon of Contemporary English) là một từ điển
LDOCE và được tổ chức lại dựa trên nguyên tắc ngữ nghĩa. Sự phân lớp trong
LLOCE được được phân thành 3 cấp theo mức độ cụ thể của khái niệm tăng
dần: 14 phân lớp Æ 127 nhóm Æ 2441 tập hợp. Các tập hợp gồm các từ có
liên quan mà không cần phải đồng nghĩa. Mối quan hệ liên quan ở đây được xét
trên mặt ngữ nghĩa.
Ví dụ:
<MAJOR: A>
Life and living things
Animals/Mammals
|
|
<GROUP: A50-61>
|
|
<SET: A53>
The cat and similar animals: cat, leopard, lion, tiger,…
Trang 26
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
Mỗi mục trong từ điển được gắn kết với một tập hợp các mã, ví dụ như sau:
<SET: A53> nouns The cat and similar animals
--------------------------------------------
cat 1 a small domestic [=> A36] animal ...
2 any animal of a group ...
...
panther [Wn1] 1 a leopard ...
2 AmE cougar.
...
<SET: A53> nouns The dog and similar animals
--------------------------------------------
dog a domestic animal with a coat of hair ...
Một phần từ điển LLOCE
A1#tồn tại,sống,hiện có,hiện hữu,tạo ra,sáng tạo,tạo nên,tạo
thành,làm sống động,cổ vũ,tạo sự sống,làm sinh động,làm sôi
nổi,làm phấn khởi,đầy sức sống,có sinh khí,nhộn nhịp,náo
nhiệt,sôi nổi,hoạt hình,làm nảy sinh ra,tích cực,ủng hộ,động
viên,làm vui lên,làm hăng lên,làm náo nhiệt,làm nhộn nhịp,
A10#thủ tiêu,giết chết,cho về chầu,khử,khử đi,giết,huỷ hoại,kết
liễu,hạ,đánh quỵ,làm chết,diệt,tiêu diệt,
A100#cá thuộc họ cá trể,cá nheo,cá êfin,cá vược,cá tuyết,cá
moruy,cs tuyết to đàu,cá chình,lươn,cá trích,cá bẹ,cá thu,cá
rutilut,cá dầy,cá đuối,cá cơm,cá cơm biển,cá chim,cá bơn vĩ,cá
chép,cá đối,cá phèn,cá chó,cá dưa răng nhọn,cá bơn sao,cá
bơn,cá hồi,cá sac-đin,cá bơn cát,cá biển nhỏ màu xám bạc,cá hét,
A101#giống cá họ cá mập,cá đuối,cá nhám,cá mập,
A102#cua,ốc mượn hồn,tôm ký cư,tôm hùm,tôm sông,tôm,tôm
càng,tôm panđan,tôm he,
A103#hàu,sò,trai,vẹm,ốc buxin,ốc tù và,ốc hương,ốc mút,bạch
tuộc,mực phủ,mực ống,
A104#sứa,sao biển,nhím biển,bọt biển,miếng bọt biển,san hô,
A11#chết người,chí tử,gây chết người,như chết rồi,tai hại,gây
chết,giết chết người,nguy đến tính mạng,phải chết,làm chết
người,như chết,đã chết,trí mạng,gây tai hoạ,
Trang 27
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
A110#ong,ong bắp cày,bọ cánh cứng,bọ sừng
hươu,gián,muỗi,kiến,châu chấu,châu chấu voi,bướm đêm,sâu
bướm,ngài,chuồn chuồn,ruồi,ruồi nhà,xâu tai,bọ xâu tai,bọ
chét,ong nghệ,ong vò vẽ,dế,ve sầu,ve,mòng,ruồi trâu,rệp rừng,sâu
cây,rận,chấy,rệp,
A111#trứng,ấu trùng,sâu bướm,nhộng,sâu,ruồi,ruồi
nhà,bướm,giòi,
A112#nhện,bọ cạp,
A113#giun đất,ốc sên,sên trần,giun,sâu,trùng,đỉa,
A12#bất tử,bất tận,vô hạn,bất diệt,sự bất tử,trường sinh bất tử,sự
bất hủ,sự lưu danh,đặc biệt,vô cùng,hết sức,rộng lớn,bất hủ,sống
mãi,mãi mãi,không chết,vĩnh cửu,sống mãi đời đời,không thể tiêu
diệt được,
A120#đầu,cổ,mắt,tai,cổ họng,
A121#sừng,gạc,bờm,mào,chỏm lông mào,mào gà,tóc
mai,râu,ria,xúc tu,râu sờ,tua,anten,lông,
A122#mũi,miệng,mồm,mõm,vòi,vòi voi,rọ mõm,mặt,đầu,mỏ
chim,mỏ,diều,hàm dưới,càng,vòi con voi,mang,mang cá,yếm,cổ
họng,
A123#răng,răng nanh,răng nọc,ngà,ngà voi,
A124#chân,cẳng,bàn chân,ngón chân,móng guốc,chân có
vuốc,gang bàn chân,vuốt,càng,móng,màng da chân,giác,xương
ống chân,
A125#cánh,đuôi,đuôi chồn,đuôi cáo,vây cá,chân chèo,
A126#da,bộ da lông,da sống,da động vật,tấm da sống,bộ lông
mao,lông tóc,tóc,lông,bộ lông tóc,lông cứng,lông tóc cứng,bộ da
lông con vật,bộ lông cừu,lông cừu,lông vũ,bộ lông,bộ lông
chim,vỏ,bao,mai,vẩy,vảy,lông gai,ngạnh,gai,ống lông,lông gai
cứng,túi,ống,màng bọc,
A127#vết,đốm,chấm,đốm tròn,sọc,vằn,dấu,viền,điểm,lỗ thở,đường
khía,
A128#bầu vú,đầu vú,núm vú,vú,
…………….
B1#thể xác,thân thể,thân xác,vật thể,thể hình,vóc người,dáng
người,tầm vóc,khổ người,thể trạng,thể chất,thân hình,ngoại
hình,thân,tạng người,
Trang 28
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
B10#đầu,vòm họng,vòm miệng,khẩu cái,lợi,răng,miệng,môi,lưỡi
gà,lưỡi,họng,cuống họng,trái cổ,tóc,lông,thái dương,lông
mày,lông mi,sống mũi,lỗ tai,lỗ mũi,hàm,quai hàm,đỉnh
đầu,trán,mắt,mũi,má,cằm,cổ,tay,cánh tay,vai,nách,cánh tay
trên,cơ hai đầu,nhượng tay,chỗ tay gập,khuỷu tay,cẳng tay,cổ
tay,nắm tay,chân cẳng,mông đít,đùi,bắp đùi,đầu gối,bắp
chân,cẳng chân,mắt cá chân,gót chân,gáy,thân,ngực,vú,núm
vú,đầu vú,dạ dày,bụng,rốn,sườn,eo,hông,háng,cơ quan sinh dục,bộ
lông,cái kẹp,hầu,cổ họng,mỏ,đĩa,
B100#béo,mập,mập mạp,béo lẵn,tròn trĩnh,phúng phính,béo
tròn,mũm mĩm,múp mích,múp,múp máp,bệu nhũn,nhão,nhẽo
nhèo,béo phị,béo phệ,phệ,quá béo,quá nặng cân,mập tròn,giết thịt
được rồi,béo phì,phục phịch,phinh phính,mềm,nhũn,bụ bẫm,đầy
đặn,quá nặng,
B101#mảnh khảnh,gầy,gầy còm,chắc người,thon thả,không
béo,mảnh dẻ,nhỏ bé,nhẹ cân,gầy nhom,da bọc xương,gầy mòn,hốc
hác,rất gầy,không có nhiều thịt,mảnh mai,thon,mỏng mảnh,yết
ớt,không to dày,mỏng manh,dễ vỡ,hấp dẫn,
B102#tăng cân,mập ra,béo ra,làm béo ra,vỗ béo,tròn ra,lên
cân,nặng lên,
B103#sụt cân,gầy đi,nhẹ cân đi,ăn kiêng,trở nên thon nhỏ,giảm
cân,thon gọn đi nhiều,gầy mòn,ốm đi,sút cân,sút cân dần dần,trở
nên mảnh khảnh,bớt nặng đi,
B104#đẫy đà,béo tốt,múp máp,trông đẫy đà,có bộ ngực to,có vú
to,béo,bệ vệ,
B105#chắc nịch,vạm vỡ,to khoẻ,mập,chắc,chắc mập,béo lùn,lùn,
B106#gầy nhom,cao lêu nghêu,có cẳng dài,xương xẩu,khẳng khiu,
B11#sọ,hộp sọ,đầu lâu,xương hàm dưới,xương bả vai,xương cánh
tay,xương sống,xương cột sống,xương quay,xương trụ,xương cổ
tay,xương đốt ngón tay,xương đốt ngón chân,xương bánh
chè,xương chày,xương cổ chân,xương quay xanh,xương ức,đốt
xương sống,khung chậu,xương cụt,xương lòng bàn tay,xương
đùi,xương mác,xương bàn chân,bộ xương,mô hình bộ xương,hình
đầu lâu,hình hộp sọ,xương sườn,khớp xương,cột sống,
B110#khỏe mạnh,mạnh khỏe,sung sức,khỏe,khỏe hơn,dễ chịu
hơn,khoẻ mạnh,tốt,không làm sao,cường tráng,tốt cho sức khỏe,có
lợi cho sức khỏe,được,mạnh mẽ,tráng kiện,không bệnh tật,dư sức,
Trang 29
Đề tài: ”Phát triển một Hệ thống S.E Hỗ trợ Tìm kiếm Thông tin, thuộc
lãnh vực CNTT trên Internet qua từ khóa bằng tiếng Việt”
B111#đau yếu,ốm,bệnh,không được khỏe,hay ốm đau,có thể không
có lợi cho sức khỏe,không lành mạnh,có vẻ ốm yếu,không
khỏe,không đủ sức khỏe,sức khỏe tồi,ốm yếu,đau,luôn đau
yếu,thường xuyên ốm đau,đau ốm,bị bệnh,hơi bị đau,yếu,không
khỏe mạnh,khó ở,ốm đau,kiệt sức,có liên quan đến bệnh,cho thấy
là có bệnh,choáng váng,hơi mệt,hay mất trí,cảm thấy không
khoẻ,mệt rã rời,không khoẻ,khó chịu,sắp chết,suy nhược,làm sa
sút,làm suy nhược,làm kiệt sức,làm mệt lử,mệt lử,bệnh tật,
B112#sức khỏe,tình trạng sức khỏe,trạng thái khỏe mạnh,tình
trạng sung sức,trạng thái khoẻ tốt,hạnh phúc,
B113#sự đau yếu,trình trạng đau ốm,loại bệnh,bệnh,sức khỏe
kém,ốm yếu,rối loạn,bệnh tật,các bệnh nói chung,bệnh hoạn,tình
trạng rối loạn,sự ốm đau bệnh tật,sự khó ở,se mình,sự ốm yếu tàn
tật,sự suy nhược thần kinh,sự tàn tật,điều cản trở,điều bất lợi,có
vấn đề,khó ở,tình trạng,không khoẻ,khó chịu,hơi mệt,cảm thấy
không khoẻ,cảm thấy chán nản,
B114#đau đớn bởi,bị ốm,mắc bệnh,bị ốm đột xuất,bệnh,ốm,có
triệu chứng ốm,khó chịu trong người,bắt đầu ốm,cảm thấy ốm,
B115#ngất,choáng,bất bình tĩnh,ngất đi,ngủ say,lịm đi,
B116#sự lên cơn bệnh,lên cơn bệnh,cơn bệnh bất ngờ,cơn bệnh,cú
sốc,sốc,đột quỵ,
B117#hổn hển,thở gấp,vừa nói,vừa thở hổn hển,hành động thở hổn
hển,tiếng nói thở hổn hển,đập thình thình,hơi thở phù,hành động
thở phì phò,tiếng thở phì phò,khịt mũi,hành động khịt mũi,tiếng
khịt mũi,ho,hắt hơi,hành động hát hơi,tiếng hắt hơi,khụt khịt,ngửi
ngửi,đánh hơi,sụt sịt,nấc cục,hành động nấc cục,tiếng nấc cục,ợ,sự
ợ,phun,huýt sáo,động tác huýt sáo,khò khè,hành động thở khò
khè,tiếng thở khò khè,thở dài,sự thở dài,tiếng thở dài,ngáy,sự
ngáy,tiếng ngáy,đánh rắm,sự đánh rắm,tiếng đánh rắm,địt,vừa
ho,ho mà khạc ra,hít,khịt khịt,sổ mũi,
B118#nghẹt thở,tức thở,nghẹn,làm ngạt thở,chết ngạt,làm chết
ngạt,gây ngạt,quá trình gây ngạt,sự gây ngạt,thắt cổ,bóp ngẹt,
B119#nôn,mửa,buồn nôn,nôn mửa,nôn ra,mửa ra,nôn khan,ọe,ọe
ra,ói,ói ra,thổ ra,tống,phun ra,phụt ra,ựa,ợ ra,
B120#sự buồn nôn,trạng thái gây nôn,cảm thấy buồn nôn,chứng
say sóng,chứng say xe,buồn nôn khi đi máy bay,
Trang 30
Tải về để xem bản đầy đủ
119 trang
09/01/2025
120
Bạn đang xem 30 trang mẫu của tài liệu "Đề tài Phát triển một hệ thống S.E hỗ trợ tìm kiếm thông tin, thuộc lãnh vực công nghệ thông tin trên Internet qua từ khóa bằng tiếng Việt", để tải tài liệu gốc về máy hãy click vào nút Download ở trên.
File đính kèm:
- de_tai_phat_trien_mot_he_thong_s_e_ho_tro_tim_kiem_thong_tin.pdf
