Học máy

 Một quá trình nhờ đó một hệ thống cải thiện hiệu suất (hiệu quả hoạt →  Một quá trình nhờ đó một hệ thống cải thiện hiệu suất (hiệu quả hoạt 

động) của nó  [Simon, 1983]

→  Một quá trình mà một chương trình máy tính cải thiện hiệu suất của nó 

trong một công việc thông qua kinh nghiệm  [Mitchell, 1997] g g g q g

→  Việc lập trình các máy tính để tối ưu hóa một tiêu chí hiệu suất dựa trên 

các dữ liệu ví dụ hoặc kinh nghiệm trong quá khứ  [Alpaydin, 2004]

Học máy = Cải thiện hiệu quả một công việc thông qua kinh nghiệm

•  Một công việc (nhiệm vụ)  T Một công việc (nhiệm vụ)  T

•  Đối với các tiêu chí đánh giá hiệu suất  P

•  Thông qua (sử dụng) kinh nghiệm  E

Bài toán robot lái xe tự động

T:  Robot (được trang bị các 

camera quan sát) lái xe tự động 

trên đường cao tốc

P:  Khoảng cách trung bình mà 

robot có thể lái xe tự động 

trước khi xảy ra lỗi (tai nạn)

E:  Một tập các ví dụ được ghi lại khi quan sát một người lái xe ó

trên đường cao tốc, trong đmỗi ví dụ gồm một chuỗi các 

ảnh và các lệnh điều khiển xe

Học có giám sát:Mỗi ví dụ học gồm 2 phần: mô tả (biểu diễn) của ví dụ học  và Mỗi ví dụ học gồm 2 phần: mô tả (biểu diễn) của ví dụ học, và

nhãn lớp (hoặc giá trị đầu ra mong muốn) của ví dụ học đó

Bài toán học phân lớp (classification problem)

D  train = {(<Biểu  diễn  của  x>  <Nhãn  lớp  của  x>)} D_train = {(<Biểu_diễn_của_x>, <Nhãn_lớp_của_x>)}

Bài toán học dự đoán/hồi quy (prediction/regression problem)

D_train = {(<Biểu_diễn_của_x>, <Giá_trị_đầu_ra_của_x>)}

Học không có giám sát:Mỗi ví dụ học chỉ chứa mô tả (biểu diễn) của ví dụ học đó -  mà

không có bất kỳ thông tin nào về nhãn lớp hay giá trị đầu ra mong không có bất kỳ thông tin nào về nhãn lớp hay giá trị đầu ra mong

muốn của ví dụ học đó

Bài toán học phân cụm (Clustering problem)

Tập học D  train = {(<Biểu  diễn  của  x>)} Tập học D_train = {(<Biểu_diễn_của_x>)}

Để tránh vấn đề “over-fitting” (đạt độ chính xác cao trên tập học, 

nhưng đạt độ chính xác thấp trên tập thử nghiệm)

Một hàm mục tiêu (một giả thiết) học được h sẽ được gọi 

là quá khớp/quá phù hợp (over-fit) với một tập học nếu là quá khớp/quá phù hợp (over fit) với một tập học nếu 

tồn tại một hàm mục tiêu khác h’ sao cho:

• h’  kém phù hợp hơn (đạt độ chính xác kém hơn) h đối với tập 

h        h        học, nhưng

• h’ đạt độ chính xác cao hơn h đối với toàn bộ tập dữ liệu (bao 

gồm cả những ví dụ được sử dụng sau quá trình huấn luyện)

Vấn đề over-fitting thường do các nguyên nhân:

• Lỗi (nhiễu) trong tập huấn luyện (do quá trình thu thập/xây dựng  (         )       g  ập yệ   (     q ập     y   ự  g

tập dữ liệu)

• Số lượng các ví dụ học quá nhỏ, không đại diện cho toàn bộ tập 

(phân bố) của các ví dụ của bài toán học (phân bố) của các ví dụ của bài toán học

Ý tưởng của phương pháp học dựa trên láng giềng gần nhất

• Với một tập các ví dụ học ộ   ập ụ   ọ

─ (Đơn giản là) lưu lại các ví dụ học

─ Không cần xây dựng một mô hình (mô tả) rõ ràng và tổng quát 

của hàm mục tiêu cần học của hàm mục tiêu cần học

• Đối với một ví dụ cần phân loại/dự đoán

─ Kiểm tra (xét) quan hệ giữa ví dụ đó với các ví dụ học để gán 

giá trị của hàm mục tiêu (một nhãn lớp, hoặc một giá trị thực)

Hàm tính khoảng cách d

•  Đóng vai trò rất quan trọng trong phương pháp học dựa trên láng Đóng vai trò rất quan trọng trong phương pháp học dựa trên láng 

giềng gần nhất

•  Thường được xác định trước, và không thay đổi trong suốt quá 

trình học và phân loại/dự đoán trình học và phân loại/dự đoán

Lựa chọn hàm khoảng cách d

•  Các hàm khoảng cách hình học:  Dành cho các bài toán có các 

thuộc tính đầu vào là kiểu số thực ( x

∈ R )

•  Hàm khoảng cách Hamming:  Dành cho các bái toán có các  g g

thuộc tính đầu vào là kiểu nhị phân ( x

∈{0,1})

•  Hàm tính độ tương tự Cosine:  Dành cho các bài toán phân lớp 

văn bản ( x

là giá trị trọng số TF/IDF của từ khóa thứ i) văn bản ( x

là giá trị trọng số TF/IDF của từ khóa thứ