Tuần trước, Scott Wu – CEO của Cognition, công ty đứng sau Devin – tuyên bố thẳng thừng: các benchmark AI công khai như MMLU, HumanEval đã “bão hòa”. Model nào cũng gần đạt điểm tối đa. Chúng không còn ý nghĩa để đo lường sức mạnh thực sự.
Với tôi, người đã kiểm toán công thức AMM Uniswap V2 và phát hiện lỗ hổng slippage năm 2020, tuyên bố này giống như một hồi chuông cảnh tỉnh cho cả ngành blockchain. Nếu một lĩnh vực công nghệ tiên tiến như AI đang rơi vào khủng hoảng đo lường, thì các giao thức DeFi và dự án Layer 2 cũng đang đối mặt với vấn đề tương tự: chúng ta đánh giá sai thứ cần đánh giá.
Hãy nhìn vào hệ sinh thái crypto hiện tại. Chúng ta có hàng tá “benchmark” như TPS, TVL, số lượng người dùng, phí giao dịch. Nhưng giống như MMLU, các chỉ số này đã bị tối ưu đến mức mất đi tính phân biệt. Một rollup có thể đạt 2000 TPS nhưng thực tế chỉ xử lý được 5 giao dịch/giây khi thanh khoản thấp. Một giao thức cho vay có TVL $1 tỷ nhưng 80% đến từ một quỹ đầu tư duy nhất – không khác gì benchmark bị nhiễu.
Scott Wu nói rằng ngành AI đang chuyển sang các “phương pháp đánh giá độc quyền”, tập trung vào hiệu quả thực tế trong tác vụ cụ thể. Điều này có ý nghĩa trực tiếp với blockchain. Một đánh giá thực sự về Layer 2 không chỉ dừng lại ở TPS, mà phải mô phỏng trạng thái mạng thực tế: khi hàng nghìn người dùng cùng giao dịch, khi thanh khoản cross-chain bị gián đoạn, khi MEV bot tấn công.
Theo phân tích của tôi, sự chuyển dịch này tạo ra ba hệ quả cho ngành crypto:
Thứ nhất, thông tin bất đối xứng sẽ gia tăng. Các dự án lớn như Arbitrum, Optimism, zkSync có thể xây dựng hệ thống đánh giá nội bộ phức tạp, trong khi các startup nhỏ chỉ có thể dựa vào các metric công khai đã lỗi thời. Nhà đầu tư sẽ khó phân biệt đâu là dự án thực sự vượt trội, đâu chỉ là dự án biết “kể chuyện” giỏi. Tôi đã chứng kiến điều này trong đợt sụp đổ FTX: Alameda dùng dữ liệu on-chain được chọn lọc để che giấu dòng tiền rút. Một hệ thống đánh giá độc quyền không có kiểm toán độc lập là con dao hai lưỡi.
Thứ hai, cơ hội cho các tổ chức đánh giá bên thứ ba. Nếu benchmark công khai chết, thị trường cần những thực thể trung gian đáng tin cậy để xác thực hiệu suất thực tế. Trong crypto, đã có các nền tảng như L2Beat, DefiLlama, nhưng chúng vẫn tập trung vào dữ liệu lịch sử, không phải khả năng mô phỏng tác vụ thực. Ai sẽ xây dựng được bộ benchmark động, mô phỏng kịch bản stress test cho toàn bộ hệ sinh thái? Đó là cơ hội trị giá hàng trăm triệu USD.
Thứ ba, rủi ro về an toàn trở nên khó đo lường hơn. Khi benchmark công khai bị coi là vô dụng, các dự án có thể lách luật bằng cách chỉ công bố kết quả đánh giá độc quyền có lợi cho mình. Điều này đặc biệt nguy hiểm với smart contract audit. Một báo cáo audit chỉ kiểm tra 200 dòng code đầu tiên? Đã có trường hợp như vậy. Nếu không có chuẩn mực chung, chất lượng audit sẽ ngày càng phân hóa, gây rủi ro cho toàn bộ người dùng.
Trái ngược với suy nghĩ thông thường, tôi cho rằng việc benchmark AI bão hòa không phải là dấu hiệu AI đã đạt đỉnh. Nó chỉ cho thấy chúng ta đang đo sai. Tương tự, TVL hay TPS của blockchain không phải là thước đo cuối cùng. Điều thực sự quan trọng là khả năng vận hành ổn định trong môi trường đầy biến động – giống như tôi đã cảnh báo về NFT vào năm 2021: thanh khoản thấp khiến giá trị thực bị thổi phồng.
Vậy takeaway là gì? Khi mọi benchmark công khai đều bão hòa, đừng tin vào con số tuyệt đối. Hãy yêu cầu các dự án cung cấp cảnh quay thực tế, test net stress, và nếu có thể, kiểm toán độc lập dựa trên kịch bản sử dụng cụ thể. Nếu họ không đưa ra được, đó là red flag. Còn nếu họ đưa ra, hãy kiểm tra xem liệu họ có chọn lọc kết quả không. Scott Wu đã mở ra một cuộc tranh luận cần thiết – không chỉ cho AI, mà cho cả crypto.
