Trong vài năm qua, sức mạnh tính toán của smartphone đã đủ lớn để chạy các mô hình AI mà trước kia chỉ tồn tại trên máy chủ. Apple Neural Engine, Google Tensor và các NPU của Qualcomm đã biến chiếc điện thoại thành một cỗ máy suy luận thực thụ — và điều đó thay đổi cách chúng ta thiết kế ứng dụng.
AI trên thiết bị mang lại ba lợi ích then chốt: độ trễ gần như bằng không, quyền riêng tư tuyệt đối (dữ liệu không rời thiết bị) và khả năng hoạt động ngoại tuyến. Một ứng dụng dịch ngôn ngữ có thể trả lời tức thì trong hầm metro; một ứng dụng y tế có thể phân tích ảnh da liễu mà không cần tải lên cloud.
Tuy vậy, on-device AI không thay thế hoàn toàn AI trên cloud. Mô hình thiết bị giỏi việc nhanh, nhẹ và liên tục; mô hình cloud giỏi việc nặng, sâu và phối hợp đa nguồn. Kiến trúc tốt nhất hiện nay là kết hợp cả hai — quyết định ở thiết bị khi có thể, và chỉ gọi cloud khi thực sự cần.
Tại Realtech, chúng tôi khuyến nghị khách hàng đánh giá AI on-device như một lựa chọn UX trước, không phải lựa chọn kỹ thuật. Câu hỏi nên là: khoảnh khắc nào trong sản phẩm sẽ trở nên ma thuật nếu phản hồi diễn ra trong 50ms thay vì 2 giây?