Vũ khí hủy diệt toán học
Tên gốc: Weapons of Math Destruction
Nhà toán học, từng là chuyên viên phân tích của một quỹ phòng hộ, Cathy O'Neil cho thấy những thuật toán bí mật, không ai chịu trách nhiệm đang được dùng trong trường học, nơi làm việc, công tác cảnh sát, tín dụng và bảo hiểm có thể lặng lẽ củng cố sự bất công trong khi trông có vẻ khách quan, và bà gọi chúng là "vũ khí hủy diệt bằng toán học" (weapons of math destruction).
Giới thiệu
Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy xuất bản năm 2016, do Cathy O’Neil viết. Bà có bằng tiến sĩ toán học, từng làm chuyên viên phân tích định lượng tại một quỹ phòng hộ trong thời kỳ khủng hoảng tài chính, rồi trở thành nhà khoa học dữ liệu và nhà văn. Bà cho biết mình rời ngành tài chính vì thấy các mô hình toán học có thể gây hại trong khi mang vẻ uy tín của khoa học. Mỗi chương xem xét một lĩnh vực đời sống nơi các hệ thống chấm điểm phân loại con người, như giáo dục, tuyển dụng, tư pháp và cho vay. Giọng văn của sách giận dữ nhưng rõ ràng, viết cho độc giả phổ thông.
Tóm tắt đầy đủ
1. Điều gì biến một mô hình thành vũ khí
Ý chính: O’Neil bắt đầu từ chính trải nghiệm của mình trong ngành tài chính, nơi bà thấy niềm tin vào các mô hình toán học đã góp phần gây ra cuộc khủng hoảng năm 2008. Sau đó bà xác định vấn đề. Theo bà, một mô hình có hại có ba đặc điểm: nó mờ đục, nghĩa là những người bị chấm điểm không thể thấy hay chất vấn cách nó vận hành; nó hoạt động trên quy mô lớn, ảnh hưởng đến nhiều người; và nó gây thiệt hại, thường bằng cách trừng phạt người nghèo và thưởng cho những người vốn đã có lợi thế. Ngược lại, một mô hình tốt thì minh bạch, công bằng và cho phép sửa sai.
Trong cuộc sống: Nếu một điểm số quyết định bạn có được vay tiền hay không mà không ai giải thích được nó được tính ra sao, bạn không thể phản đối nó.
2. Những vòng lặp phản hồi giam hãm con người
Ý chính: Tác giả giải thích cách một số mô hình tự tạo ra thực tại của riêng chúng. Một hệ thống đánh dấu một số khu dân cư cần tăng cường tuần tra sẽ phát hiện thêm nhiều tội nhỏ ở đó, vì có cảnh sát hiện diện, và dữ liệu mới dường như xác nhận khu ấy nguy hiểm, nên lại điều thêm nhiều cảnh sát đến. Tương tự, một người bị chấm là có rủi ro cao có thể bị từ chối cơ hội, khiến hoàn cảnh của họ xấu đi và dường như chứng minh điểm số là đúng. Những vòng lặp tự củng cố này đặc biệt khó nhận ra khi đang ở bên trong.
Trong cuộc sống: Một học sinh bị gán nhãn là “khó thành công” có thể nhận được ít cơ hội hơn, nên có ít thành công hơn, và điều đó trông như một sự xác nhận.
3. Trường học, bảng xếp hạng và điểm đánh giá giáo viên
Ý chính: O’Neil xem xét việc dùng dữ liệu trong giáo dục. Theo bà, bảng xếp hạng đại học buộc các trường chạy theo những chỉ số đo đếm được và chi rất nhiều tiền để leo lên danh sách, điều này đã góp phần đẩy chi phí lên cao. Bà cũng mô tả những hệ thống đánh giá giáo viên dựa trên mức thay đổi điểm kiểm tra của học sinh, vốn có thể thiếu độ tin cậy về mặt thống kê khi áp dụng cho một lớp học, vậy mà đã được dùng để sa thải giáo viên. Những con số ấy mang vẻ có thẩm quyền, dù mẫu dữ liệu bên dưới nhỏ và nhiễu.
Trong cuộc sống: Một giáo viên có thể bị đánh giá bằng một con số lên xuống phần lớn là do ngẫu nhiên.
4. Việc làm, tuyển dụng và xếp ca
Ý chính: Cuốn sách chuyển sang chuyện việc làm. Nhiều nhà tuyển dụng dùng phần mềm để lọc hồ sơ, cùng các bài kiểm tra tính cách có thể loại bỏ ứng viên, kể cả những người có vấn đề sức khỏe tâm thần, mà không có lời giải thích nào từ con người. Phần mềm xếp ca cho những người lao động lương thấp điều chỉnh ca làm theo nhu cầu, điều này giúp công ty hoạt động hiệu quả nhưng khiến người lao động rất khó sắp xếp việc gửi trẻ, học tập hay làm thêm một việc thứ hai. O’Neil lập luận rằng những hệ thống này coi con người như đầu vào cần được tối ưu hóa.
Trong cuộc sống: Một công nhân chỉ được báo ca làm trước vài ngày thì không thể lên kế hoạch cho cuộc sống của mình.
5. Tín dụng, bảo hiểm và người nghèo
Ý chính: Bà cho rằng trong tài chính và bảo hiểm, các nhà môi giới dữ liệu thu thập lượng thông tin khổng lồ, và các công ty dùng nó để nhắm mục tiêu hoặc chấm điểm con người. Những kẻ cho vay chuyên bóc lột và các trường đại học vì lợi nhuận có thể nhắm quảng cáo vào những người dễ tổn thương nhất. Việc dùng điểm tín dụng và các chỉ số thay thế khác để tuyển dụng hoặc định giá bảo hiểm có thể phạt người nghèo hai lần. Người giàu thường được con người xử lý, còn người nghèo bị máy móc xử lý, và máy móc mắc lỗi mà rất khó sửa.
Trong cuộc sống: Người có điểm thấp vì từng gặp khó khăn trong quá khứ có thể phải trả phí bảo hiểm cao hơn, khiến việc vươn lên càng khó.
6. Nền dân chủ và những việc cần làm
Ý chính: Ở các chương cuối, O’Neil bàn đến chính trị. Theo bà, các chiến dịch tranh cử có thể nhắm đến cử tri bằng những thông điệp cá nhân hóa mà người khác không thấy, điều có thể làm suy yếu cuộc tranh luận chung của công chúng. Các luồng nội dung trên mạng xã hội cũng có thể định hình những gì mọi người nhìn thấy. Bà kết luận bằng các đề xuất: những người xây dựng mô hình nên tuyên thệ đạo đức như các bác sĩ, các mô hình nên được kiểm tra về tính công bằng, các cơ quan quản lý nên đòi hỏi sự minh bạch trong những lĩnh vực như cho vay, bảo hiểm và chấm điểm tín dụng, và những chuyên gia kiểm định bên ngoài, không chỉ người trong công ty, nên xem xét các thuật toán quan trọng. Theo bà, hiệu quả đôi khi nên nhường chỗ cho các giá trị của con người, và dữ liệu có thể giúp ích cho con người khi được dùng một cách công khai và công bằng.
Trong cuộc sống: Thử nghiệm một công cụ tuyển dụng xem nó có loại bỏ một số nhóm người một cách bất công hay không là một cách kiểm tra thiết thực.
Vì sao tác phẩm đáng đọc
Vũ khí hủy diệt toán học từng là sách bán chạy của tờ New York Times và trở thành một trong những cuốn sách phổ thông quan trọng về sự thiên lệch của thuật toán. Sách lọt vào danh sách dài của Giải Sách Quốc gia Mỹ (National Book Award) ở mảng phi hư cấu, và đã ảnh hưởng đến các nhà báo, nhà nghiên cứu và nhà làm luật đang bắt đầu đặt câu hỏi các quyết định tự động nên được quản lý như thế nào. Cụm từ trong nhan đề đã đi vào cách nói hằng ngày. Đóng góp chính của sách là cho thấy thuật toán không trung lập, vì chúng do con người xây dựng, được huấn luyện bằng dữ liệu quá khứ và được thiết kế cho những mục tiêu có thể mâu thuẫn với sự công bằng. Sách đã giúp mở ra một lĩnh vực làm việc về kiểm định, trách nhiệm giải trình và đạo đức của khoa học dữ liệu, và vẫn là một cuốn nhập môn tiêu chuẩn.
Những ý chính
- Sự mờ đục khiến thiệt hại khó bị phản đối. Người ta không thể khiếu nại một điểm số mà mình không nhìn thấy.
- Quy mô nhân lên sai lầm. Một mô hình sai có thể ảnh hưởng đến hàng triệu người cùng lúc.
- Vòng lặp phản hồi khóa chặt sự thiệt thòi. Những dự đoán có thể tạo ra chính kết quả mà chúng dự đoán.
- Mô hình mã hóa những lựa chọn của con người. Dữ liệu và mục tiêu phản ánh giá trị của người xây dựng.
- Kiểm định và minh bạch là thiết yếu. Hệ thống công bằng cần được kiểm tra, giải thích và cho phép khiếu nại.
Bài học có thể rút ra
Bạn có thể dùng cuốn sách để đặt những câu hỏi tốt hơn mỗi khi một điểm số hay bảng xếp hạng được dùng để quyết định về bạn hoặc người khác. Ai xây dựng nó, nó dùng dữ liệu gì, nó tối ưu điều gì, và có ai khiếu nại được không? Hãy thận trọng đừng coi một con số là khách quan chỉ vì nó mang tính toán học. Nếu bạn làm việc với dữ liệu, hãy nghĩ xem sai sót và thiên lệch có thể gây hại cho con người ra sao, và kiểm tra chúng. Hãy ủng hộ những quy định đòi hỏi phải giải thích và xem xét lại các quyết định tự động, và hãy nhớ rằng một mô hình chỉ công bằng đến mức những lựa chọn đằng sau nó cho phép.
Phê bình và góc nhìn khác
Một số nhà phê bình cho rằng O’Neil dựa vào một số ít ví dụ sinh động và đôi khi trộn lẫn những vấn đề khác nhau, như dữ liệu kém, thiết kế tồi và cố ý lạm dụng, khiến bức tranh một chiều hơn so với những gì bằng chứng cho phép. Những người khác chỉ ra rằng người ra quyết định cũng thiên lệch và khó hiểu, và các thuật toán được thiết kế tốt có thể giảm sự thiếu nhất quán, điều mà cuốn sách ghi nhận khá ít. Một số nhà khoa học dữ liệu thấy nhãn “vũ khí” quá bao quát, và một vài trường hợp được mô tả mà thiếu chi tiết kỹ thuật. Những người ủng hộ đáp lại rằng mức độ hệ trọng của các quyết định tự động đáng được giám sát chặt chẽ.
Ai nên đọc cuốn sách này?
Cuốn sách dành cho bất kỳ ai muốn hiểu thuật toán ảnh hưởng đến sự công bằng trong đời sống hằng ngày như thế nào, gồm học sinh, giáo viên, nhà quản lý và công dân. Sách dễ tiếp cận và hầu như không dùng toán. Những độc giả muốn có phương pháp kỹ thuật để đo sự thiên lệch có thể tìm đến các tài liệu chuyên sâu hơn sau đó.
Bản tóm tắt này được dịch từ tiếng Anh với sự hỗ trợ của AI.
Muốn đọc cả cuốn sách?
Bản tóm tắt chỉ là món khai vị, không phải bữa chính. Đây là nơi tìm cuốn sách đầy đủ.
Bạn đã đọc đến cuối 🎉
Tuyệt vời. Hãy đánh dấu cuốn này là đã đọc, chúng tôi sẽ gợi ý cuốn tiếp theo.
Nên đọc tiếp
Thời đại của chủ nghĩa tư bản giám sát
Shoshana Zuboff
Giáo sư Harvard Shoshana Zuboff lập luận rằng các công ty công nghệ lớn đã tạo ra một kiểu chủ nghĩa tư bản mới, thu thập khối lượng khổng lồ dữ liệu cá nhân, biến nó thành những dự đoán về hành vi của chúng ta rồi đem bán, đe dọa quyền riêng tư, quyền tự chủ và nền dân chủ.
⚖️ Chính trị & xã hộiTương thích với con người
Stuart Russell
Người tiên phong về AI Stuart Russell lập luận rằng cách xây dựng trí tuệ nhân tạo theo lối chuẩn, tức giao cho máy những mục tiêu cố định, là sai lầm và nguy hiểm, và đề xuất rằng chúng ta nên thiết kế những cỗ máy không chắc chắn về sở thích của con người và học chúng bằng cách quan sát chúng ta.
💡 Công nghệCách nói dối bằng thống kê
Darrell Huff
Darrell Huff, qua một chuyến dạo nhẹ nhàng và dí dỏm quanh các mánh khóe của giới quảng cáo, báo chí và nhiều người khác, cho thấy con số, biểu đồ và số trung bình có thể đánh lừa ra sao, để người đọc học cách nhận ra sự lừa dối.
🔬 Khoa họcThuật toán để sống
Brian Christian and Tom Griffiths
Nhà văn Brian Christian và nhà khoa học nhận thức Tom Griffiths cho thấy những ý tưởng từ khoa học máy tính, như dừng tìm kiếm đúng lúc, sắp xếp, bộ nhớ đệm và lập lịch, có thể đưa ra chỉ dẫn thiết thực cho các quyết định hằng ngày về thời gian, không gian, những lựa chọn và quan hệ với người khác.
💡 Công nghệTín hiệu và nhiễu
Nate Silver
Nhà thống kê và nhà dự báo bầu cử Nate Silver giải thích vì sao phần lớn các dự đoán thất bại, và cho thấy dự báo tốt hơn đến từ việc suy nghĩ bằng xác suất, cập nhật theo bằng chứng mới và khiêm tốn trước sự bất định.
🔬 Khoa họcNhững nhà đổi mới
Walter Isaacson
Walter Isaacson kể lại lịch sử cuộc cách mạng số qua những con người đã phát minh ra máy tính, internet và World Wide Web, và lập luận rằng đổi mới chủ yếu là kết quả của sự hợp tác, chứ không phải công của những thiên tài đơn độc.
💡 Công nghệMuốn thứ gì khác?
Chọn một chủ đề khác, chúng tôi sẽ gợi ý ba cuốn để bắt đầu.