𝗟𝗼𝗴𝗶𝘀𝘁𝗶𝗰 𝗥𝗲𝗴𝗿𝗲𝘀𝘀𝗶𝗼𝗻 – 𝗧𝘂𝘆𝗲̂́𝗻 𝘁𝗶́𝗻𝗵 𝗵𝗮𝘆 𝗽𝗵𝗶 𝘁𝘂𝘆𝗲̂́𝗻 𝘁𝗶́𝗻𝗵?

Nếu bạn mới học Machine Learning, có thể bạn sẽ thắc mắc: Logistic Regression có phải là một mô hình tuyến tính không? Vì đầu ra của nó là một xác suất (trong khoảng [0,1]), nhiều người nghĩ rằng nó là một mô hình phi tuyến tính. Nhưng sự thật là, Logistic Regression vẫn là một mô hình tuyến tính!

𝗕𝗮̉𝗻 𝗰𝗵𝗮̂́𝘁 𝘁𝘂𝘆𝗲̂́𝗻 𝘁𝗶́𝗻𝗵 𝗰𝘂̉𝗮 𝗟𝗼𝗴𝗶𝘀𝘁𝗶𝗰 𝗥𝗲𝗴𝗿𝗲𝘀𝘀𝗶𝗼𝗻

Trước tiên, hãy cùng nhìn vào công thức của Logistic Regression:

z=w1x1+w2x2+...+wnxn+bz

Đây chính là một tổ hợp tuyến tính của các biến đầu vào X. Tuy nhiên, thay vì dự đoán trực tiếp z, mô hình sử dụng hàm sigmoid để chuyển đổi nó thành một xác suất: (Trong ảnh)

Hàm sigmoid giúp đảm bảo rằng đầu ra luôn nằm trong khoảng [0,1], phù hợp với bài toán phân loại nhị phân (binary classification)

𝗩𝗮̣̂𝘆 𝗟𝗼𝗴𝗶𝘀𝘁𝗶𝗰 𝗥𝗲𝗴𝗿𝗲𝘀𝘀𝗶𝗼𝗻 𝗰𝗼́ 𝗽𝗵𝗶 𝘁𝘂𝘆𝗲̂́𝗻 𝘁𝗶́𝗻𝗵 𝗸𝗵𝗼̂𝗻𝗴?

Câu trả lời là KHÔNG. Mặc dù đầu ra cuối cùng không phải là một kết hợp tuyến tính của X, nhưng mô hình vẫn được coi là tuyến tính trên log-odds space.

Tại sao? Vì nếu ta lấy logit function của xác suất p, ta thu được một phương trình tuyến tính: (Trong hình có cách biến đổi log-odds)

Logit function giúp biến đổi xác suất về khoảng (−∞,+∞) biến mô hình trở thành một linear model trong không gian log-odds.

𝗧𝗮̣𝗶 𝘀𝗮𝗼 𝗹𝗮̣𝗶 𝗾𝘂𝗮𝗻 𝘁𝗿𝗼̣𝗻𝗴?

Hiểu được Logistic Regression là một mô hình tuyến tính giúp chúng ta biết được những giới hạn của nó:

Ưu điểm:

- Dễ huấn luyện, nhanh chóng và hiệu quả trên các tập dữ liệu nhỏ.

- Có thể giải thích được (interpretability) vì mỗi hệ số wi​ cho thấy mức độ ảnh hưởng của từng biến đến log-odds.

- Không yêu cầu quá nhiều dữ liệu để hoạt động tốt.

Nhược điểm:

- Vì bản chất tuyến tính, Logistic Regression không thể nắm bắt các mối quan hệ phi tuyến giữa biến đầu vào và đầu ra.

- Nếu dữ liệu không tách biệt tuyến tính, Logistic Regression có thể hoạt động kém.

Nếu muốn xử lý các bài toán có quan hệ phi tuyến giữa biến đầu vào và đầu ra, ta cần biến đổi đặc trưng (Feature Engineering) hoặc dùng các mô hình phức tạp hơn như Decision Trees, Random Forest, hay Neural Networks.