Tín hiệu và nhiễu
Tên gốc: The Signal and the Noise
Nhà thống kê và nhà dự báo bầu cử Nate Silver giải thích vì sao phần lớn các dự đoán thất bại, và cho thấy dự báo tốt hơn đến từ việc suy nghĩ bằng xác suất, cập nhật theo bằng chứng mới và khiêm tốn trước sự bất định.
Giới thiệu
The Signal and the Noise: Why So Many Predictions Fail, But Some Don’t ra mắt năm 2012, do Nate Silver viết. Ông nổi danh nhờ phát triển một hệ thống dự báo thành tích bóng chày, rồi nhờ trang blog chính trị FiveThirtyEight, nơi đã dự đoán đúng 49 trong 50 bang trong cuộc bầu cử tổng thống Hoa Kỳ năm 2008 và, vài tuần sau khi sách ra mắt, đúng cả 50 bang năm 2012. Trong sách, ông xét việc dự báo trong nhiều lĩnh vực: cuộc khủng hoảng tài chính 2008, thời tiết, động đất, kinh tế, dịch bệnh, cờ vua, bóng chày, poker, chính trị, khí hậu và khủng bố. Ông hỏi vì sao có những dự báo thành công còn những dự báo khác thất bại, và đưa ra một triết lý dựa trên cách suy luận Bayes (Bayesian). Sách đầy ví dụ và được viết bằng giọng chuyện trò.
Tóm tắt đầy đủ
1. Vì sao ta thất bại: một thất bại dự đoán thảm khốc
Ý chính: Silver mở đầu bằng cuộc khủng hoảng tài chính 2007-2008. Các hãng xếp hạng tín nhiệm như Standard & Poor’s đã chấm cho một số chứng khoán đảm bảo bằng thế chấp điểm an toàn cao nhất và đánh giá thấp nghiêm trọng rủi ro của chúng, còn các quan chức và nhà kinh tế không nhận ra bong bóng nhà đất đúng như bản chất của nó. Ông phân biệt rủi ro (risk), thứ có thể đo được, với sự bất định (uncertainty), thứ khó đo, và nói rằng các hãng đó đã coi những sản phẩm mới, chưa từng được thử, như thể rủi ro của chúng đã biết. Ông đưa ra lời chỉ trích tương tự với những dự báo kinh tế đầy tự tin do chính phủ đưa ra đầu năm 2009. Dùng hình ảnh tập bắn bia, ông cho thấy một dự báo có thể chính xác về mặt lặp lại mà vẫn không đúng: những phát bắn luôn rơi vào cùng một chỗ là nhất quán, nhưng nếu chúng trật khỏi hồng tâm thì không đúng. Theo ông, các nhà dự báo thường tỏ ra chắc chắn để bảo vệ danh tiếng, trong khi dự báo tốt hơn bắt đầu bằng việc thừa nhận sự bất định và thiên kiến.
Trong cuộc sống: Một con số tự tin, nghe có vẻ chính xác, không giống với một con số đúng.
2. Các nhà bình luận, nhím và cáo
Ý chính: Silver chuyển sang nghiên cứu của Philip Tetlock, người nhận thấy nhiều dự đoán của các chuyên gia về chính trị không tốt hơn may rủi. Tetlock chia những người suy nghĩ thành nhím (hedgehog), tức những người giữ vài ý tưởng lớn và áp dụng chúng ở mọi nơi, và cáo (fox), tức những người dựa vào nhiều nguồn và thay đổi ý kiến khi có thông tin mới. Nhím làm tệ hơn, và họ có xu hướng đổ lỗi cho các yếu tố bên ngoài khi sai, còn cáo thì nhận lỗi về mình. Silver liệt kê những thói quen của người dự báo giỏi là suy nghĩ bằng xác suất, thích nghi và cởi mở với nhiều góc nhìn, và ông nói mình cố làm việc theo cách đó. Ông đối lập điều này với các nhà bình luận trên truyền hình, như những người trong chương trình The McLaughlin Group, những người mà theo ông thực ra không thật sự cố gắng đưa ra dự đoán chính xác.
Trong cuộc sống: Người thay đổi dự báo khi sự thật thay đổi thường đáng tin hơn người không bao giờ làm vậy.
3. Bóng chày và poker: mô hình, tuyển trạch viên và quy trình
Ý chính: Silver mô tả hệ thống bóng chày của chính ông, PECOTA, trong thời kỳ mà Moneyball đã làm cho nổi tiếng. Các mô hình loại này nghiên cứu thành tích của cầu thủ, điều chỉnh theo may rủi và tuổi tác, và so sánh cầu thủ với những người tương tự trong quá khứ. Ông lập luận rằng chúng chưa thay thế được các tuyển trạch viên (scout), những người thấy những điều con số bỏ sót, như cách một cầu thủ ứng xử, và rằng dự báo tốt nhất dùng cả hai. Ông lấy ví dụ Dustin Pedroia, một cầu thủ mà PECOTA đánh giá cao nhưng các tuyển trạch viên nghi ngờ. Silver cũng từng chơi poker chuyên nghiệp một thời gian, và ông mô tả cơn sốt poker bắt đầu khoảng năm 2003, khi nhiều người chơi thiếu kinh nghiệm khiến những người giỏi hơn một chút dễ kiếm lời. Người chơi giỏi nghĩ bằng xác suất có điều kiện, kể cả việc đối thủ có thể đang tính toán gì. Vì may rủi đóng vai trò lớn trong ngắn hạn, ông nói rằng bạn nên đánh giá các quyết định theo chất lượng của quy trình chứ không chỉ theo kết quả.
Trong cuộc sống: Một người chơi giỏi đánh giá một quyết định theo xác suất, không chỉ theo kết quả.
4. Thời tiết: một câu chuyện thành công
Ý chính: Tác giả nêu dự báo thời tiết như một lĩnh vực đã tiến bộ rất nhiều trong vài thập niên qua, chủ yếu nhờ máy tính nhanh hơn. Các nhà dự báo con người vẫn đem lại giá trị bổ sung bằng cách chỉnh lại kết quả của máy tính, nhất là với mưa. Thời tiết là một hệ hỗn loạn, nên những sai số nhỏ trong dữ liệu ban đầu có thể lớn dần thành sai số lớn ở kết quả, nhưng các nhà khí tượng đưa ra xác suất, chẳng hạn ba mươi phần trăm khả năng mưa, và kiểm tra xem các xác suất đó có được hiệu chuẩn tốt (well calibrated) hay không, nghĩa là có khớp với tần suất xảy ra thật. Ông cũng xét cơn bão Katrina, nơi các dự báo tốt nhưng cách ứng phó thì không.
Trong cuộc sống: Một dự báo mưa nói “70 phần trăm” thì phải đúng khoảng bảy lần trong mười lần.
5. Động đất và kinh tế
Ý chính: Ngược lại, không thể dự đoán động đất đúng thời gian và địa điểm. Các nhà địa chấn học có thể ước tính khả năng xảy ra động đất ở một vùng trong thời gian dài, nhưng không nói được khi nào một trận sẽ xảy ra. Dữ liệu nhiễu và các hệ thống chưa được hiểu rõ, nên rất dễ tìm thấy những mẫu hình không có thật, một sai lầm gọi là khớp quá mức (overfitting). Silver nêu cơn sóng thần năm 2011 ở nhà máy điện hạt nhân Fukushima của Nhật Bản như một trường hợp mà bằng chứng quá khứ về các sự kiện lớn đã không được coi trọng đủ. Ông cũng thấy dự báo kinh tế kém. Tên của chương ấy ám chỉ trận lụt năm 1997 ở Grand Forks, North Dakota, nơi sự bất định của một dự báo đã không được nói rõ. Một nền kinh tế là một hệ phức tạp, trong đó nguyên nhân và kết quả khó tách bạch, và các nhà dự báo có thể nhầm tương quan với quan hệ nhân quả và bảo vệ danh tiếng bằng cái giá của độ chính xác. Ông thấy triển vọng ở các thị trường dự đoán (prediction markets), nơi mọi người đặt tiền vào dự báo của mình.
Trong cuộc sống: Khi có nhiều người cùng đoán, sớm muộn sẽ có người đoán trúng nhờ may, và điều đó không chứng minh gì về năng lực.
6. Dịch bệnh và định lý Bayes
Ý chính: Các nhà dịch tễ học làm việc ở nơi sai lầm phải trả giá bằng mạng sống, nên Silver xem họ như tấm gương về sự thận trọng. Ông nhắc lại nỗi lo về dịch cúm lợn năm 1976 ở Hoa Kỳ, khi các quan chức dự kiến một đại dịch và Tổng thống Ford ủng hộ một chương trình tiêm chủng vội vã. Đại dịch đã không xảy ra. Các dự báo có thể tự ứng nghiệm hoặc tự hủy, vì con người phản ứng với chúng. Ý tưởng trung tâm của cuốn sách khi đó là cách nghĩ Bayes, đặt theo tên mục sư thế kỷ mười tám Thomas Bayes: bắt đầu với một niềm tin ban đầu (prior) về khả năng xảy ra của một điều, rồi cập nhật nó khi có bằng chứng mới. Silver đối lập điều này với cách tiếp cận tần suất (frequentist) của Ronald Fisher vốn thống trị thống kê thế kỷ hai mươi, và lập luận rằng cách đó góp phần gây ra nhiều kết quả dương tính giả, dẫn lời John Ioannidis về việc có bao nhiêu nghiên cứu đã công bố bị sai sót.
Trong cuộc sống: Nếu nghe một tin đồn, bạn cân nhắc xem trước đó nó có khả năng đúng đến đâu, rồi điều chỉnh khi biết thêm.
7. Máy tính, đám đông và thị trường
Ý chính: Dùng những câu chuyện về các ván cờ giữa người và máy, Silver lập luận rằng máy tính làm đúng những gì chúng được lập trình để làm. Chúng giỏi ở nơi luật rõ ràng và việc tính nhanh quan trọng, như cờ vua và thời tiết, nhưng vật lộn với những hệ lộn xộn như nền kinh tế hay động đất, và điểm mù của người dự báo có khả năng bị sao chép vào chương trình. Ở thị trường chứng khoán, ông thấy rằng các dự báo của nhóm, đưa ra độc lập, thường thắng dự báo của từng cá nhân, dù không phải lúc nào cũng thắng cá nhân giỏi nhất. Các nhà giao dịch thường chạy theo bầy đàn, và những tổ chức bị đánh giá theo kết quả ngắn hạn góp phần tạo ra bong bóng. Ông nói ta sẽ không bao giờ nhận ra một bong bóng nếu cứ cho rằng giá luôn luôn đúng.
Trong cuộc sống: Một đám đông cùng nghĩ giống nhau không phải là một đám đông biết kiểm tra lại câu trả lời của mình.
8. Khí hậu, khủng bố và giới hạn của hiểu biết
Ý chính: Về biến đổi khí hậu, Silver nói rằng hiệu ứng nhà kính gần như chắc chắn tồn tại, rằng lượng khí carbon dioxide do con người thải ra làm nó mạnh thêm, và rằng hành tinh rất có thể sẽ nóng lên, dù các tác động kém chắc chắn hơn và các nhà khoa học bất đồng về độ đáng tin của các mô hình khí hậu. Chính trị thêm nhiễu, vì một số dự báo quá mạnh đến từ lỗi mô hình hóa và số khác đến từ nỗ lực tác động đến chính sách, và công chúng thường đọc sự bất định của khoa học như một dấu hiệu yếu kém. Về khủng bố, ông nói rất khó phân biệt tín hiệu với nhiễu trước một vụ tấn công, và con người coi điều lạ lùng là không thể xảy ra. Quy mô các vụ tấn công theo một quy luật lũy thừa (power law), trong đó những sự kiện hiếm và rất lớn có xảy ra, nên các nhà phân tích cần hình dung những vụ tấn công lớn hơn và coi trọng các dấu hiệu của chúng. Ông nói thất bại tệ nhất là không đưa ra dự đoán nào cả. Ông kết thúc bằng việc nói rằng con người thiên về tin rằng mình giỏi dự đoán, và rằng cách tiếp cận Bayes, với sự trung thực về bất định và sẵn lòng xem xét lại, là con đường để tiến bộ.
Trong cuộc sống: Một nhà dự báo nói rõ điều gì có thể làm dự báo thay đổi sẽ cho bạn một bức tranh đầy đủ hơn.
Vì sao tác phẩm đáng đọc
Tín hiệu và nhiễu lọt vào danh sách sách bán chạy của New York Times, được Amazon bình chọn là cuốn sách phi hư cấu hay nhất năm 2012, và đoạt giải sách khoa học năm 2013 của Hội Phi Beta Kappa. Đây là một cuốn giới thiệu đại chúng hàng đầu về dự báo, xác suất và cách nghĩ Bayes, và nó đã giúp đưa lối suy luận thống kê vào các cuộc thảo luận công khai, nhất là trong các mùa bầu cử. Cuốn sách làm nổi bật giá trị của sự khiêm tốn, của xác suất và của việc kiểm tra, và cho thấy sự tự tin thái quá và các động cơ lợi ích làm méo mó dự đoán thế nào. Nó dựa trên nghiên cứu của Philip Tetlock về phán đoán của chuyên gia, và là cuốn sách hữu ích cho bất kỳ ai phải đánh giá các dự báo thuộc bất kỳ loại nào, trong kinh doanh, báo chí, chính trị hay thể thao.
Những ý chính
- Tách tín hiệu khỏi nhiễu. Không phải mẫu hình nào trong một tập dữ liệu cũng có thật hay có ý nghĩa.
- Nghĩ bằng xác suất. Tránh sự chắc chắn giả tạo, và nói rõ mức độ chắc chắn của bạn.
- Cập nhật theo bằng chứng mới. Cách nghĩ Bayes giúp bạn điều chỉnh quan điểm dần dần.
- Kiểm tra dự báo. Những lĩnh vực kiểm tra kết quả của mình, như thời tiết, sẽ tiến bộ theo thời gian.
- Hãy khiêm tốn. Biết giới hạn của hiểu biết, nhất là về các hệ phức tạp.
Bài học có thể rút ra
Bạn có thể bắt đầu bằng việc diễn đạt các dự đoán của chính mình dưới dạng xác suất, và kiểm tra xem chúng thành sự thật bao nhiêu lần. Khi thấy một mẫu hình nổi bật trong dữ liệu, hãy hỏi xem đó có thể chỉ là ngẫu nhiên không. Hãy dè chừng những dự báo đầy tự tin từ các nhà bình luận không phải gánh hậu quả. Hãy cập nhật quan điểm khi có bằng chứng mới, nhưng tránh phản ứng thái quá với từng mẩu tin. Và hãy học những điều cơ bản của thống kê, vốn giúp đọc tin tức một cách phê phán hơn. Kết hợp con số với phán đoán là một thói quen tốt.
Phê bình và góc nhìn khác
Nhà khoa học khí hậu Michael Mann phê bình cuốn sách vì đã đối xử với khoa học vật lý của khí hậu bằng cùng cách tiếp cận dùng cho sở thích của cử tri, dựa trên những giả định mà ông gọi là chủ quan và không kiểm chứng được. Vì sách viết cho độc giả đại chúng và bỏ qua phần lớn toán học, như một người điểm sách ngưỡng mộ đã nhận xét, nên nó không thể bàn sâu mọi phương pháp thống kê, và các phương pháp Bayes cũng có khó khăn riêng, chẳng hạn cách chọn niềm tin ban đầu. Những dự báo sau này của Silver cũng làm dấy lên tranh luận về xác suất: mô hình năm 2016 của ông cho Donald Trump khoảng 29 phần trăm cơ hội, cao hơn các nhà dự báo lớn khác, và Trump đã thắng. Một kết quả với xác suất như vậy hoàn toàn có thể xảy ra, và sự việc cho thấy xác suất thường bị hiểu nhầm thành dự đoán. Dù vậy, thông điệp chính của cuốn sách vẫn được đánh giá cao.
Ai nên đọc cuốn sách này?
Cuốn sách dành cho những độc giả quan tâm đến dữ liệu, dự báo, thể thao và chính trị. Sách hấp dẫn và đòi hỏi rất ít toán. Ai muốn một cách trình bày chặt chẽ về thống kê hay xác suất có thể tìm đến một cuốn giáo trình.
Bản tóm tắt này được dịch từ tiếng Anh với sự hỗ trợ của AI.
Muốn đọc cả cuốn sách?
Bản tóm tắt chỉ là món khai vị, không phải bữa chính. Đây là nơi tìm cuốn sách đầy đủ.
Bạn đã đọc đến cuối 🎉
Tuyệt vời. Hãy đánh dấu cuốn này là đã đọc, chúng tôi sẽ gợi ý cuốn tiếp theo.
Nên đọc tiếp
Siêu dự báo
Philip E. Tetlock and Dan Gardner
Nhà khoa học chính trị Philip Tetlock và nhà báo Dan Gardner thuật lại một dự án nghiên cứu phát hiện rằng một số người bình thường có thể dự đoán các sự kiện thế giới tốt hơn các chuyên gia, và mô tả những thói quen làm nên tài năng ấy.
🧩 Tâm trí & tâm lý họcTư duy cá cược
Annie Duke
Annie Duke, cựu người chơi poker chuyên nghiệp, lập luận rằng các quyết định trong đời là những canh bạc đặt cược khi thông tin chưa đầy đủ, và chỉ cách đánh giá quyết định theo chất lượng chứ không theo kết quả, bằng cách suy nghĩ theo xác suất và học hỏi nhờ những nhóm trung thực.
🧩 Tâm trí & tâm lý họcCách nói dối bằng thống kê
Darrell Huff
Darrell Huff, qua một chuyến dạo nhẹ nhàng và dí dỏm quanh các mánh khóe của giới quảng cáo, báo chí và nhiều người khác, cho thấy con số, biểu đồ và số trung bình có thể đánh lừa ra sao, để người đọc học cách nhận ra sự lừa dối.
🔬 Khoa họcMoneyball: Nghệ thuật chiến thắng một trò chơi không lành mạnh
Michael Lewis
Michael Lewis kể về việc đội bóng chày Oakland Athletics, một đội có ngân sách nhỏ, đã dùng thống kê để tìm ra những cầu thủ bị bỏ qua và cạnh tranh với các đội giàu hơn, cùng việc điều đó đã thách thức những quan niệm cũ về tài năng như thế nào.
💼 Kinh doanhBán khống
Michael Lewis
Michael Lewis theo chân một nhóm nhà đầu tư khác thường đã nhìn ra rằng cơn sốt nhà đất ở Mỹ trước cuộc khủng hoảng tài chính năm 2008 là một bong bóng, đã đặt cược chống lại nó, và khám phá ra hệ thống tài chính đã đánh giá sai rủi ro của chính mình sâu đến mức nào.
💼 Kinh doanhLược sử thời gian
Stephen Hawking
Một trong những nhà vật lý vĩ đại nhất thế giới giải thích, gần như không dùng toán, những gì chúng ta biết về nguồn gốc, cấu trúc và số phận của vũ trụ, từ vụ nổ Big Bang đến các lỗ đen và bản chất của chính thời gian.
🔬 Khoa họcMuốn thứ gì khác?
Chọn một chủ đề khác, chúng tôi sẽ gợi ý ba cuốn để bắt đầu.