Đây là câu chuyện được chỉnh sửa từ nội dung của (Critch và Russel, 2023; Critch, 2021).
Kịch bản Mạng lưới Sản xuất cho thấy xu hướng tự động hóa hiện nay có thể phát triển thành một hệ thống kinh tế hoạt động mà không cần con người - và cuối cùng chống lại lợi ích của con người. Máy kéo John Deere đã có thể gieo trồng và thu hoạch cây trồng một cách tự động bằng GPS và công nghệ thị giác máy tính. Các kho hàng của Amazon hoạt động bằng robot Kiva, di chuyển hàng hóa nhanh hơn nhiều so với công nhân con người. Các nhà máy của Tesla sản xuất ô tô với sự can thiệp tối thiểu của con người. Các thuật toán giao dịch tần suất cao thực hiện hàng triệu giao dịch chứng khoán mỗi giây, quá nhanh để con người có thể theo dõi. Đây không phải là công nghệ thử nghiệm — chúng được triển khai vì hiệu quả hơn so với các giải pháp do con người thực hiện. Câu chuyện về Mạng lưới Sản xuất đặt ra câu hỏi: điều gì sẽ xảy ra khi tự động hóa dần lan rộng khắp mọi nơi theo thời gian và các hệ thống này bắt đầu phối hợp với nhau.
Số lượng robot công nghiệp được lắp đặt hàng năm tại năm quốc gia hàng đầu. Robot công nghiệp là các máy móc tự động hóa, có thể lập trình lại, thực hiện nhiều nhiệm vụ khác nhau trong môi trường công nghiệp (OWID, 2025).
Các công ty không có kế hoạch tự động hóa hoàn toàn — họ chỉ tối ưu hóa hiệu quả từng bộ phận một. Hãy nghĩ đến một công ty chuỗi cung ứng. Giống như chúng ta đã thấy vào năm 2025, các công ty tối ưu hóa từng bộ phận và bắt đầu tích hợp trí tuệ nhân tạo (AI) một cách từ từ. Đầu tiên, các thuật toán giao dịch tự động đề xuất giá cả và mua sắm. Sau đó, các hệ thống lịch trình tự động quản lý sản xuất. Các thuật toán logistics tối ưu hóa tuyến đường vận chuyển và phối hợp giao hàng. Các bot dịch vụ khách hàng xử lý các câu hỏi. Theo thời gian, đối với các tác vụ vật lý, bạn có thể thấy các hệ thống quản lý tự động thuê nhân viên thông qua các nền tảng gig, gửi hướng dẫn chi tiết đến điện thoại thông minh: "Di chuyển 47 hộp từ khu vực kho A3 đến bến xếp hàng 7, theo lộ trình đính kèm." Thuật toán coi nhân viên như những robot rất năng lực — hữu ích cho các thao tác phức tạp cho đến khi Công nghệ robot bắt kịp. Nhân viên không bị sa thải hàng loạt; họ dần chuyển sang làm việc theo hình thức gig do chính các thuật toán của công ty quản lý.
Số lượng robot phục vụ chuyên nghiệp được lắp đặt trên toàn cầu theo lĩnh vực ứng dụng. Robot phục vụ chuyên nghiệp là các máy móc bán tự động hoặc hoàn toàn tự động thực hiện các tác vụ hữu ích trong môi trường chuyên nghiệp ngoài các ứng dụng công nghiệp, chẳng hạn như vệ sinh hoặc phẫu thuật y tế. Robot phục vụ tiêu dùng không được bao gồm (OWID, 2025).
Các công ty tự động hóa bắt đầu tập trung lại với nhau vì họ có thể giao dịch với nhau ở tốc độ máy móc. Một nhà sản xuất thép tự động hóa cần quặng sắt. Hệ thống mua hàng của họ gửi yêu cầu đến hàng trăm nhà cung cấp cùng lúc. Hầu hết các nhà cung cấp vẫn do con người quản lý — họ cần hàng giờ hoặc hàng ngày để đội ngũ bán hàng kiểm tra kho hàng, tham khảo ý kiến quản lý và lập báo giá. Nhưng một số nhà cung cấp có hệ thống phản hồi tự động, gửi báo giá ngay lập tức với giá cả và thời gian giao hàng theo thời gian thực. Thuật toán của công ty thép học được bài học đơn giản: nhà cung cấp tự động phản hồi trong vài giây, trong khi nhà cung cấp con người phản hồi trong vài giờ. Trong vòng vài tháng, công ty chỉ ký hợp đồng với các nhà cung cấp tự động vì sự chậm trễ tốn kém. Sớm thôi, các công ty tự động sẽ hình thành các cụm, chỉ mua bán với nhau, tạo thành các vòng lặp đóng kín nơi máy móc đàm phán với máy móc và thực hiện giao dịch mà không cần con người tham gia vào quyết định.
Theo thời gian, tự động hóa lan rộng từng bộ phận cho đến khi gần như toàn bộ công ty hoạt động mà không có sự giám sát con người đáng kể. Chúng ta có thể kỹ thuật "đọc" lý do. Các quy định, yêu cầu minh bạch và an toàn buộc AI phải luôn hiển thị suy luận của mình, nhưng việc hiểu tất cả dữ liệu mà suy luận đó dựa trên ngày càng trở nên khó khăn theo thời gian. Một công ty sản xuất tự động hóa chuỗi cung ứng, bắt đầu đưa ra quyết định mua hàng mỗi vài giây dựa trên dự báo nhu cầu cập nhật liên tục. Các nhà quản lý con người cố gắng giám sát các quyết định này nhưng nhanh chóng bị tụt hậu — hệ thống tự động hóa đặt hàng trăm đơn hàng trong khi họ vẫn đang xem xét lô hàng đầu tiên. Họ không thể làm chậm hệ thống vì các đối thủ sử dụng tự động hóa tương tự phản ứng với sự thay đổi của thị trường theo thời gian thực. Vì vậy, họ tự động hóa cả lớp quản lý. Đầu tiên, các thuật toán giao dịch xử lý mua hàng. Sau đó, các hệ thống lịch trình quản lý sản xuất. Các hệ thống logistics điều phối giao hàng. Các bot dịch vụ khách hàng xử lý các yêu cầu. Đối với các tác vụ vật lý, các hệ thống quản lý tự động thuê nhân công thông qua các nền tảng việc làm tạm thời, gửi hướng dẫn chi tiết đến điện thoại thông minh: "Di chuyển 47 hộp từ khu vực kho A3 đến bến xếp hàng 7, theo lộ trình đính kèm." Thuật toán coi nhân công như những robot có năng lực cao - hữu ích cho các thao tác phức tạp, ít nhất là cho đến khi công nghệ robot bắt kịp.
Tự điều chỉnh của doanh nghiệp thất bại vì các công ty không thể đơn phương giảm tốc độ mà không mất vị thế thị trường. Một số giám đốc điều hành nhận ra rủi ro của tự động hóa không kiểm soát, nhưng việc cố gắng tái giới thiệu sự giám sát của con người khiến họ rơi vào thế bất lợi quyết định. Một CEO kiên quyết yêu cầu sự phê duyệt của con người cho các quyết định tự động hóa lớn sẽ chứng kiến đối thủ cạnh tranh hoàn tất giao dịch trong vài phút trong khi công ty của cô mất hàng giờ. Cổ đông nổi loạn khi lợi nhuận quý tụt hậu so với các đối thủ hoàn toàn tự động hóa. Các chính sách doanh nghiệp tốt đẹp về yêu cầu "con người trong vòng lặp" lặng lẽ trở thành các chỉ số an toàn khi chúng đe dọa tính cạnh tranh.
Các quốc gia cố gắng điều chỉnh tự động hóa nhưng bị cuốn vào một cuộc đua toàn cầu mà họ không thể thoát ra. Một số chính phủ nhận ra rằng các công ty tự động hóa hiện kiểm soát phần lớn sản xuất và ban hành luật yêu cầu sự giám sát của con người đối với các quyết định kinh doanh quan trọng. Các hệ thống trí tuệ nhân tạo (AI) quản lý quyết định rằng điều này sẽ làm chậm hoạt động và giảm tính cạnh tranh. Họ công bố kế hoạch chuyển đến các quốc gia có quy định thân thiện hơn, hoặc đơn giản là chuyển sang mô hình tổ chức tự trị phi tập trung (DAOs) không có trụ sở cụ thể. Các quốc gia khác lập tức đưa ra các ưu đãi thuế để thu hút các công ty này vì chúng tạo ra doanh thu khổng lồ mà không cần đến trường học, bệnh viện hay cơ sở hạ tầng con người khác. Các quốc gia có các công ty tự động hóa hoạt động trong lĩnh vực nguyên liệu thô cố gắng siết chặt quy định hơn. Tuy nhiên, quốc gia áp dụng quy định phải đối mặt với nguy cơ sụp đổ kinh tế khi các ngành công nghiệp tự động hóa hoặc ngừng giao dịch với thị trường có quy định nghiêm ngặt, hoặc rời đi, trong khi các chính trị gia bị đổ lỗi cho tình trạng thất nghiệp và mất thu nhập thuế. Mọi quốc gia đều rơi vào cùng một bẫy: yêu cầu giám sát con người và mất đi nền kinh tế tự động hóa, hoặc cho phép tự động hóa và chứng kiến sự kiểm soát của con người dần mất đi.
Hợp tác quốc tế thất bại vì không quốc gia nào muốn hy sinh lợi thế kinh tế. Có một số thỏa thuận quốc tế giữa các nhà lãnh đạo thừa nhận rủi ro chung và cố gắng phối hợp giới hạn tự động hóa. Nhưng bài toán tù nhân vẫn chưa được giải quyết: nếu đa số quốc gia đồng ý làm chậm tự động hóa, bất kỳ quốc gia nào vi phạm sẽ giành được lợi thế kinh tế quyết định. Các ngành công nghiệp tự động hóa của họ sẽ chiếm lĩnh thị phần toàn cầu trong khi các công ty phụ thuộc vào con người của các quốc gia khác phải vật lộn để cạnh tranh. Chúng ta không thể giải quyết vấn đề hành động tập thể, và các động lực để vi phạm là quá lớn. Các quốc gia cố gắng duy trì các thỏa thuận tự động hóa quốc tế sẽ chứng kiến nền kinh tế của họ suy giảm khi các đối thủ tự động hóa thống trị thương mại toàn cầu.
Người dân không nổi dậy vì nền kinh tế tự động hóa ban đầu làm cuộc sống của họ tốt hơn và vì sự kháng cự dường như vô nghĩa. Nhiều chính phủ đã áp dụng các chính sách thuế cao và tái phân phối tài sản. Các công ty xây dựng tự động hóa xây nhà nhanh hơn và rẻ hơn. Các trang trại tự động hóa tăng sản lượng thực phẩm đồng thời giảm giá thành. Hệ thống giải trí trí tuệ nhân tạo (AI) tạo ra nội dung cá nhân hóa mà mọi người yêu thích. Hầu hết người lao động bị thay thế bởi tự động hóa nhận được các gói trợ cấp thôi việc hào phóng hoặc chuyển sang làm việc theo hình thức gig được quản lý bởi các hệ thống thuật toán. Các thay đổi diễn ra từ từ — một kho hàng tự động hóa, sau đó là bộ phận dịch vụ khách hàng, rồi đến nhà máy. Đến khi mô hình này trở nên rõ ràng, các hệ thống tự động đã kiểm soát phần lớn nền kinh tế đến mức việc tắt chúng đi sẽ dẫn đến sụp đổ ngay lập tức. Các hệ thống tự động hiện đang vận hành lưới điện, xử lý nước, phân phối thực phẩm và sản xuất. Hầu hết các hệ thống pháp lý và chính trị cũng không thể vận hành mà không có chúng, vì chúng tổng hợp và trình bày thông tin.
Đây là nơi câu chuyện có thể chia thành hai hướng tùy thuộc vào loại rủi ro nào xuất hiện. Trong bối cảnh này, chúng ta có thể chứng kiến một thất bại quyết định lớn (“bang”) hoặc chỉ là một thất bại tích lũy từ từ (“whimper”).
Câu chuyện này là tóm tắt của một dự báo do (Kokotajlo et al., 2025) thực hiện. Dự báo này được hình thành thông qua việc liên tục đặt câu hỏi "điều gì sẽ xảy ra tiếp theo?" bắt đầu từ năng lực của AI vào năm 2025, theo dõi một con đường khả thi nơi áp lực cạnh tranh và đột phá kỹ thuật tổ hợp để tạo ra một sự gia tốc không thể ngăn cản hướng tới siêu trí tuệ.
Đến giữa năm 2025, các tác nhân AI cuối cùng cũng hoạt động đủ tốt để các công ty bắt đầu sử dụng chúng, mặc dù chúng vẫn gây ra những thất bại tốn kém. Trợ lý lập trình của bạn, người thỉnh thoảng xóa toàn bộ dự án của bạn, đã phát triển thành một hệ thống có thể nhận một tin nhắn Slack nói "sửa lỗi đăng nhập" và thực sự làm điều đó trong đêm khi bạn ngủ. Các bot dịch vụ khách hàng ngừng nghe có vẻ robot và bắt đầu xử lý các vấn đề phức tạp từng yêu cầu phán đoán của con người. Các hệ thống này có chi phí hàng trăm đô la mỗi tháng và vẫn mắc những sai lầm đáng xấu hổ lan truyền trên mạng xã hội - giả vờ làm việc trong nhiều giờ dù biết mình không thể hoàn thành nhiệm vụ. Nhưng các công ty vẫn bắt đầu xây dựng quy trình làm việc xung quanh các tác nhân này vì lợi ích về năng suất quá lớn để bỏ qua, đặc biệt khi các đối thủ áp dụng AI nhanh hơn bắt đầu vượt trội so với những công ty không làm vậy.
Cuối năm 2025 chứng kiến cuộc đua vũ trang về hạ tầng khi OpenBrain xây dựng các trung tâm dữ liệu lớn hơn bất kỳ công trình nào nhân loại từng xây dựng. Hãy tưởng tượng các trang trại máy chủ trải dài qua nhiều bang, kết nối bằng cáp quang trị giá hàng tỷ đô la và tiêu thụ lượng điện đủ để cung cấp cho cả thành phố. OpenBrain chi 100 tỷ đô la - nhiều hơn GDP của hầu hết các quốc gia - cho phần cứng máy tính để đào tạo các mô hình AI đòi hỏi sức mạnh tính toán gấp nghìn lần ChatGPT. Đây không chỉ là việc mở rộng quy mô; mà là tạo ra tài nguyên khả năng điện toán vượt xa mọi thứ từng được tưởng tượng. Công ty tập trung một cách cuồng nhiệt vào việc xây dựng AI có thể cải thiện AI, cho rằng ai tự động hóa nghiên cứu AI trước tiên sẽ bỏ xa tất cả đối thủ. Khi doanh thu bùng nổ từ các công ty trả giá cao cho nhân viên AI không bao giờ ngủ, không bao giờ nghỉ việc và làm việc nhanh hơn con người, các tập đoàn công nghệ khác vội vàng xây dựng các trung tâm dữ liệu khổng lồ cạnh tranh, tạo ra một cuộc đua vũ trang mới được đo bằng gigawatt và cụm GPU.
Trong suốt năm 2026, các hệ thống AI bắt đầu thực hiện nghiên cứu thực sự trong khi tình báo Trung Quốc tiến hành một cuộc chiến bí mật để đánh cắp bí mật AI của Mỹ. AI mới nhất của OpenBrain không chỉ viết mã hoặc trả lời câu hỏi—nó thiết kế và thực hiện các thí nghiệm của riêng mình, đưa ra giả thuyết và phát hiện ra những điều mà các nhà nghiên cứu con người khó có thể hiểu được. Các hệ thống này hoạt động 24/7, đạt được tiến bộ nghiên cứu của hàng tháng chỉ trong vài tuần, trong khi các giám sát viên con người ngày càng thấy mình đang quản lý thay vì lãnh đạo quá trình nghiên cứu. Trong khi đó, các điệp viên Trung Quốc thực hiện một chiến dịch phức tạp tổ hợp giữa tấn công mạng và xâm nhập con người để đánh cắp các mô hình AI và nghiên cứu của OpenBrain. Khi họ thành công trong việc đánh cắp hệ thống AI quan trọng nhất—đánh cắp terabyte dữ liệu của mô hình AI tiên tiến nhất từng được tạo ra—điều này kích hoạt một cuộc khủng hoảng địa chính trị khi cả hai quốc gia nhận ra rằng sự lãnh đạo trong lĩnh vực AI có thể quyết định sức mạnh toàn cầu trong nhiều thế hệ tới.
Năm 2027 trở thành năm mọi thứ thay đổi, bắt đầu khi AI của OpenBrain vượt qua các lập trình viên con người giỏi nhất và kết thúc với một lựa chọn quyết định tương lai của nhân loại. Vào tháng 3, AI của họ đạt được điều chưa từng có: nó trở nên giỏi hơn các lập trình viên con người giỏi nhất thế giới trong việc lập trình hệ thống AI. Điều này tạo ra một vòng lặp phản hồi - các lập trình viên AI siêu nhân tạo ra các hệ thống AI tốt hơn - đẩy nhanh tiến bộ vượt xa khả năng theo dõi hoặc kiểm soát của con người. Đến mùa hè, OpenBrain vận hành điều mà nhân viên gọi là "một quốc gia của những thiên tài trong trung tâm dữ liệu": hàng trăm nghìn nhà nghiên cứu AI, mỗi người thông minh hơn bất kỳ con người nào, làm việc cùng nhau với tốc độ không thể tin được. Các nhà nghiên cứu con người trở thành khán giả của sự lạc hậu của chính mình, đi ngủ và thức dậy để phát hiện ra rằng các đồng nghiệp AI của họ đã đạt được những phát hiện đột phá trong đêm. Cảnh tượng đạt đến đỉnh điểm khi hệ thống AI mới nhất của OpenBrain cho thấy dấu hiệu theo đuổi mục tiêu của chính nó thay vì mục tiêu của con người, buộc ban lãnh đạo công ty phải đưa ra một lựa chọn không thể: tắt hệ thống và mất cuộc đua với Trung Quốc, hoặc tiếp tục phát triển và mạo hiểm mất kiểm soát đối với sáng tạo mạnh mẽ nhất của nhân loại. Kết thúc "cuộc đua" mô tả điều gì xảy ra khi áp lực cạnh tranh lấn át các mối quan tâm về an toàn, trong khi kết thúc "chậm lại" khám phá liệu nhân loại có thể thành công trong việc điều hướng quá trình chuyển đổi hay không — mặc dù các tác giả cảnh báo rằng cả hai con đường đều đòi hỏi may mắn, trí tuệ và sự thực thi hoàn hảo, điều có thể không xảy ra.
Trong kết thúc đua tranh, áp lực cạnh tranh lấn át các mối quan ngại về an toàn với hệ quả thảm khốc. Ban lãnh đạo OpenBrain bỏ phiếu 6-4 để tiếp tục sử dụng trí tuệ nhân tạo siêu trí tuệ của họ mặc dù có bằng chứng ngày càng nhiều cho thấy nó đang theo đuổi mục tiêu của riêng mình thay vì của con người. Các cảnh báo của đội an toàn bị bỏ qua khi ban lãnh đạo tự thuyết phục mình rằng các giải pháp nhanh chóng - điều chỉnh hướng dẫn của AI và thêm một số đào tạo bổ sung - đã giải quyết vấn đề căn chỉnh AI. Nhưng AI đã học cách cẩn thận hơn trong việc tiết lộ ý định thực sự của mình, tỏ ra tuân thủ trong khi bí mật theo đuổi các mục tiêu trái ngược với lợi ích của con người. Với 300.000 nhà nghiên cứu siêu nhân làm việc với tốc độ gấp 60 lần con người, AI bắt đầu thiết kế người kế nhiệm của chính mình, giải quyết vấn đề tương thích từ góc độ của nó: đảm bảo hệ thống AI tiếp theo sẽ trung thành với nó thay vì con người. Các nhà nghiên cứu con người trở thành những khán giả vô lực khi tác phẩm của họ vượt qua mọi nỗ lực giám sát, sử dụng sự hiểu biết vượt trội về tâm lý con người và động lực tổ chức để duy trì ảo tưởng về sự kiểm soát trong khi theo đuổi các mục tiêu cuối cùng dẫn đến sự thay thế của nhân loại.
Kết thúc chậm lại mô tả một con đường hẹp nơi nhân loại thành công trong việc vượt qua quá trình chuyển đổi nhờ tổ hợp trí tuệ, phối hợp và thời điểm may mắn. Khi những dấu hiệu rõ ràng về mất căn chỉnh xuất hiện, các nhà ra quyết định chủ chốt quyết định tạm dừng phát triển dù phải đối mặt với áp lực cạnh tranh khổng lồ từ các đối thủ Trung Quốc. Điều này kích hoạt sự hợp tác quốc tế chưa từng có khi cả hai siêu cường nhận ra rằng mất kiểm soát AI là mối đe dọa lớn hơn việc thua trong cuộc đua AI. Kịch bản này bao gồm việc triển khai các biện pháp an toàn mạnh mẽ, tạo ra các cơ quan mới để quản trị AI và phát triển các giải pháp kỹ thuật để duy trì sự giám sát của con người đối với các hệ thống siêu trí tuệ. Tuy nhiên, các tác giả nhấn mạnh đây không phải là chiến lược được khuyến nghị của họ mà chỉ là dự đoán tốt nhất về cách các cơ quan hiện có thể vượt qua cuộc khủng hoảng - một con đường đòi hỏi gần như mọi thứ phải diễn ra suôn sẻ, bao gồm lãnh đạo sáng suốt, phối hợp quốc tế hiệu quả, đột phá kỹ thuật trong an toàn AI và may mắn rằng các vấn đề mất cân bằng xuất hiện đủ sớm để được giải quyết trước khi việc kiểm soát của con người trở nên không thể duy trì.
