𝗘𝗻𝘁𝗿𝗼𝗽𝘆 - 𝗠𝘂̛́𝗰 đ𝗼̣̂ "𝗵𝗼̂̃𝗻 𝗹𝗼𝗮̣𝗻" 𝘁𝗿𝗼𝗻𝗴 𝗱𝘂̛̃ 𝗹𝗶𝗲̣̂𝘂!

𝗘𝗻𝘁𝗿𝗼𝗽𝘆 - 𝗠𝘂̛́𝗰 đ𝗼̣̂ "𝗵𝗼̂̃𝗻 𝗹𝗼𝗮̣𝗻" 𝘁𝗿𝗼𝗻𝗴 𝗱𝘂̛̃ 𝗹𝗶𝗲̣̂𝘂!

Nếu bạn đang học về học máy hoặc lý thuyết thông tin, chắc chắn bạn đã nghe đến thuật ngữ 𝗘𝗻𝘁𝗿𝗼𝗽𝘆. Nhưng bạn đã hiểu đúng về nó chưa? Hãy cùng tìm hiểu nhé!

𝗘𝗻𝘁𝗿𝗼𝗽𝘆 là gì? Đơn giản mà nói, 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 là thước đo mức độ không chắc chắn hoặc hỗn loạn trong một tập dữ liệu. Khi bạn có một dữ liệu mà các lớp (classes) phân bố đều, nghĩa là có sự hỗn loạn lớn. Ngược lại, nếu dữ liệu thuộc cùng một lớp, 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 sẽ rất thấp, tức là bạn đã có một dữ liệu rất "chắc chắn" và dễ hiểu.

Công thức đơn giản: (trong ảnh nha).

Ví dụ: (Trong ảnh luôn nha)

Decision Tree phân chia dữ liệu tại một nút, chúng ta tính toán 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 cho mỗi nhóm con sau phân chia. Mục tiêu là chọn thuộc tính phân chia sao cho 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 của các nhóm con càng thấp càng tốt. Khi 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 giảm, tức là sự không chắc chắn về lớp của dữ liệu giảm, giúp cải thiện độ chính xác của mô hình.

Quá trình sử dụng 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 trong Decision Tree:

- Tính 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 cho tập dữ liệu gốc.

- Phân chia dữ liệu theo các thuộc tính và tính 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 cho mỗi nhóm con.

- Chọn thuộc tính phân chia sao cho 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 giảm nhiều nhất, tức là sự phân chia sẽ làm giảm độ không chắc chắn của dữ liệu.

- Lặp lại cho các nhóm con cho đến khi 𝗘𝗻𝘁𝗿𝗼𝗽𝘆 bằng 0 (hoàn toàn thuần nhất) hoặc đạt điều kiện dừng.