Tại sao CEO của Character.AI vẫn cho phép cô con gái 6 tuổi của mình sử dụng ứng dụng

(SeaPRwire) –   Chào mừng trở lại với In the Loop, bản tin hai lần mỗi tuần mới của TIME về AI. Nếu bạn đang đọc bài này trên trình duyệt của mình, tại sao không đăng ký để nhận bản tin tiếp theo trực tiếp vào hộp thư đến của bạn?

Những nhân vật cần biết: Karandeep Anand, CEO của Character.AI

Character.AI đang chịu áp lực. Nền tảng chatbot này, cho phép người dùng trò chuyện với các AI nhân cách hóa các nhân vật hư cấu, đang là mục tiêu của một số vụ kiện — bao gồm một vụ kiện từ Megan Garcia, một người mẹ có con trai 14 tuổi đã tự sát sau khi bị ám ảnh bởi một trong các bot, mà được cho là đã khuyến khích cậu bé kết thúc cuộc đời mình.

Sau vụ kiện đó và các vụ kiện khác, tháng trước Character.AI đã đưa ra một thông báo lớn: họ sẽ cấm người dùng dưới 18 tuổi có “các cuộc trò chuyện mở” với các chatbot trên nền tảng của mình. Đây là một sự thay đổi lớn đối với một công ty tuyên bố rằng Thế hệ Z và Alpha chiếm phần lớn trong số hơn 6 triệu người dùng hoạt động hàng ngày của họ, những người dành trung bình 70 đến 80 phút mỗi ngày trên nền tảng này.

Tuần trước, tôi đã ngồi xuống với CEO mới của Character.AI, Karandeep Anand, để thảo luận về lệnh cấm và những gì đã dẫn đến nó.

Theo Anand, thời điểm của lệnh cấm không liên quan gì đến các vụ kiện pháp lý mà Character.AI đang phải đối mặt. Vụ kiện tử vong do sai trái của Garcia, ông nhấn mạnh, bắt nguồn từ trước khi ông làm CEO. Và ông đã bảo vệ thành tích của nền tảng trong việc tạo ra các rào cản cho người dùng dưới 18 tuổi.

Lệnh cấm trẻ em sử dụng Character.AI, Anand nói, một phần là kết quả của nghiên cứu mới cho thấy rủi ro của việc sử dụng chatbot, đặc biệt đối với trẻ em. “Một trong những yếu tố đóng góp đến từ những phát hiện mới rằng tác động lâu dài của tương tác chatbot có thể không lành mạnh, hoặc chưa được hiểu rõ hoàn toàn,” ông nói với tôi, chỉ ra nghiên cứu từ OpenAI và Anthropic về những nguy hiểm của cái gọi là sự nịnh bợ của AI. Với những phát hiện đó, ông quyết định rằng việc cho phép trẻ em trên nền tảng là quá rủi ro.

Nhưng lệnh cấm trẻ em sử dụng Character.AI không phải là tuyệt đối. Chúng vẫn sẽ được phép truy cập các tính năng khác của Character.AI, như tương tác với một nguồn cấp dữ liệu video ngắn do AI tạo ra, tương tự như trang For You của TikTok, khuyến khích người dùng cá nhân hóa các video phổ biến bằng cách thêm nhân vật của riêng họ, hoặc bằng cách sửa đổi các lời nhắc.

Tôi ngạc nhiên, trong bối cảnh cuộc trò chuyện của chúng tôi, khi nghe Anand nói rằng cô con gái sáu tuổi của ông là một người dùng cuồng nhiệt của Character.AI. “Những gì con bé từng làm là mơ mộng giờ đây đang diễn ra thông qua việc kể chuyện với nhân vật mà con bé tạo ra và trò chuyện cùng,” Anand nói. “Ngay cả trong những cuộc trò chuyện [mà] con bé sẽ ngập ngừng trả lời tôi, nó nói chuyện với chatbot cởi mở hơn nhiều.” (Người dùng dưới 13 tuổi hoàn toàn không được phép trên nền tảng, Anand thừa nhận, vì vậy ông chỉ cho phép con gái mình truy cập Character.AI thông qua tài khoản của mình, có sự giám sát.) Sự nhiệt tình của con gái ông đối với các tính năng nghe nhìn của Character.AI đã cho Anand sự tự tin để đặt cược công ty vào việc xây dựng những trải nghiệm gamified đó cho trẻ em, ông nói, thay vì cho phép các cuộc trò chuyện văn bản mở.

CEO chấp nhận sẽ mất một số người dùng do quyết định của mình. “Tôi sẵn sàng đặt cược rằng chúng tôi sẽ xây dựng những trải nghiệm hấp dẫn hơn, nhưng nếu điều đó có nghĩa là một số người dùng rời đi, thì một số người dùng sẽ rời đi,” ông nói. Nhưng ông không hoàn toàn loại trừ khả năng đảo ngược lệnh cấm chatbot dưới 18 tuổi. “Tôi khá chắc chắn rằng tại một thời điểm nào đó, khi công nghệ phát triển đủ, và chúng ta có thể có nhiều trải nghiệm được bảo vệ hơn cho việc gõ phím, chúng tôi sẽ mang những trải nghiệm đó trở lại.”

Tuy nhiên, sự thay đổi này đã đưa Character.AI — vốn từ lâu là hình mẫu cho sự phát triển AI vô trách nhiệm — vào một vị trí kỳ lạ là một người ủng hộ những trải nghiệm trực tuyến an toàn hơn cho trẻ em. Anand nói rằng ông hoan nghênh một dự luật gần đây do Thượng nghị sĩ Josh Hawley đề xuất, sẽ cấm bất kỳ ai dưới 18 tuổi sử dụng các ứng dụng đồng hành AI trên toàn quốc. “Điều thực sự đáng buồn cho ngành là nếu chúng ta đưa ra những quyết định này [cấm người dùng dưới 18 tuổi] và sau đó người dùng cuối cùng lại chuyển sang các nền tảng khác không chịu trách nhiệm này,” Anand nói với tôi. “Tiêu chuẩn an toàn cho người dùng dưới 18 tuổi phải được nâng cao… Điều này phải được quy định.”

Nếu bạn có một phút, vui lòng thực hiện nhanh để giúp chúng tôi hiểu rõ hơn về bạn và những chủ đề AI nào bạn quan tâm nhất.

Những điều cần biết: E.U. cân nhắc đánh đổi quyền riêng tư để thu hút tiền đầu tư vào AI

Các nhà quản lý Liên minh Châu Âu đang xem xét loại bỏ một số biện pháp bảo vệ quyền riêng tư rộng rãi của họ nhằm biến lục địa này thành một nơi hấp dẫn hơn cho đầu tư AI, trong bối cảnh tăng trưởng kinh tế yếu kém.

đã thu được các tài liệu cho thấy các quan chức đang lên kế hoạch thay đổi luật quyền riêng tư hàng đầu của E.U., General Data Protection Regulation (GDPR), để cho phép các công ty AI đào tạo và vận hành hệ thống của họ bằng cách sử dụng các loại dữ liệu cá nhân trước đây được bảo vệ.

Những gì chúng tôi đang đọc

, bởi Andrea Miotti trên TIME

Giám đốc AI của Control, Andrea Miotti, kêu gọi một phong trào toàn cầu để ngăn chặn AI siêu thông minh, giống như thế giới đã cùng nhau ngăn chặn lỗ hổng ngày càng lớn trong tầng Ozone. “Nguy cơ tuyệt chủng từ siêu thông minh do đó có tiềm năng xuyên qua mọi sự chia rẽ,” ông viết. “Nó có thể đoàn kết mọi người trên các đảng phái chính trị, tôn giáo, quốc gia và hệ tư tưởng. Không ai muốn cuộc sống, gia đình, thế giới của mình bị hủy hoại.”