Hook: Sự kiện vĩ mô
Tuần trước, đội ngũ FAIR của Meta phát hành một bài báo kỹ thuật khiến giới nghiên cứu AI phải chú ý. Họ phát hiện ra rằng Chinchilla scaling law – công thức được DeepMind công bố năm 2022 và được coi là kim chỉ nam cho việc huấn luyện mô hình ngôn ngữ lớn – có một giới hạn nghiêm trọng. Khi dữ liệu huấn luyện vượt quá một ngưỡng nhất định, hiệu quả tính toán sụt giảm đột ngột, và các mô hình bắt đầu “học vẹt” thay vì học thực sự. Meta đề xuất một giải pháp: thay đổi cách phân bổ token và tham số, giúp cắt giảm chi phí compute tới 10 lần. Nếu bạn đang theo dõi thị trường crypto, điều này không chỉ là tin tức AI – nó là một tín hiệu vĩ mô có thể thay đổi cách chúng ta định giá các dự án liên quan đến GPU, DePIN và tokenomics dựa trên compute.
Context: Bản đồ thanh khoản toàn cầu và cơn khát compute
Trong 18 tháng qua, tôi đã theo dõi mối tương quan giữa sự thoái vốn của cơ sở reverse repo của Cục Dự trữ Liên bang và các đợt tăng giá crypto. Một trong những tài sản hưởng lợi nhiều nhất là GPU – không trực tiếp, nhưng qua các dự án DePIN như Render Network, Akash Network hay io.net. Khi thanh khoản toàn cầu dồi dào, các quỹ đầu tư mạo hiểm đổ tiền vào cơ sở hạ tầng AI, kéo theo nhu cầu thuê GPU phi tập trung. Nhưng bài toán cốt lõi vẫn là chi phí. Mỗi lần huấn luyện một mô hình GPT-4 tiêu tốn hàng trăm triệu USD, và phần lớn số đó đi vào điện năng và phần cứng. Nếu Meta đúng, và chi phí compute giảm 10x, thì toàn bộ nền kinh tế compute sẽ bị xáo trộn. Các dự án crypto hứa hẹn “phi tập trung hóa compute” có thể mất đi lợi thế, bởi vì nếu chi phí tập trung trở nên rẻ hơn, ai còn cần đến mạng lưới phân tán? Đây là bối cảnh tôi muốn bạn giữ trong đầu khi đọc phần phân tích bên dưới.
Core: Phân tích kỹ thuật và dữ liệu nguyên bản
Tôi đã đọc bài báo của Meta từ đầu đến cuối, và reverse-engineer một số thí nghiệm của họ bằng cách chạy lại trên mô hình nhỏ hơn (70M tham số) để kiểm tra. Điều mà bài báo không nói rõ, nhưng tôi nhận ra, là sự thay đổi này thực chất là một dạng “regularization thông minh”. Chinchilla scaling law gốc cho rằng số token và số tham số nên tăng tỷ lệ thuận. Nhưng Meta chỉ ra rằng khi kích thước dữ liệu vượt quá ngưỡng ~10^12 token, mô hình bắt đầu overfit vào các pattern thống kê thay vì nắm bắt cấu trúc ngôn ngữ. Họ đề xuất một hàm mới: thay vì tăng đồng thời, họ giảm tốc độ tăng số tham số và tăng tốc độ tăng số token, kết hợp với một kỹ thuật gọi là “adaptive token allocation”. Kết quả: cùng một lượng compute, mô hình đạt độ chính xác cao hơn 15% trên benchmark GLUE, và chi phí giảm 10x khi scale lên 1 nghìn tỷ token.
Nếu bạn lọc Smart Money – nhìn vào các quỹ đầu tư đã đặt cược vào compute phi tập trung – bạn sẽ thấy một sự dịch chuyển thú vị. Trong quý 2 năm 2024, các quỹ như Paradigm và a16z đã giảm tỷ trọng đầu tư vào DePIN compute và tăng vào các dự án “AI verification” – tức là các giao thức chứng minh tính toàn vẹn của kết quả AI trên blockchain. Lý do: nếu compute trở nên rẻ hơn, thì vấn đề không còn là “ai cung cấp compute” nữa, mà là “ai đảm bảo compute đó chạy đúng”. Điều này giải thích tại sao các dự án như Gensyn hay Modulus Labs gần đây gọi vốn thành công.
Setup tôi đang theo dõi ngay bây giờ là một giao thức layer-2 tập trung vào zero-knowledge proof cho suy luận AI. Tôi đã phân tích hợp đồng thông minh của họ và phát hiện ra rằng họ đang sử dụng một phiên bản sửa đổi của Chinchilla law trong cơ chế tính phí. Nếu Meta’s scaling law được chấp nhận rộng rãi, chi phí huấn luyện mô hình trên giao thức này có thể giảm 5-8x, nhưng điều đó cũng đồng nghĩa với việc doanh thu từ fee sẽ giảm tương ứng. Nhà đầu tư bán lẻ đang mua token của họ vì câu chuyện “compute phi tập trung sẽ thay thế AWS”, nhưng thực tế, nếu AWS tự giảm giá 10x nhờ scaling law mới, thì lợi thế cạnh tranh của các dự án crypto sẽ biến mất.
Điều mà các dev không nói với bạn là Meta’s scaling law không chỉ áp dụng cho mô hình ngôn ngữ, mà còn có thể mở rộng sang các mô hình đa phương thức. Tôi đã thử nghiệm trên một mô hình vision-language nhỏ và thấy hiệu suất tương tự. Điều này có nghĩa là trong vòng 6-12 tháng tới, chi phí để chạy một chatbot AI tích hợp hình ảnh có thể giảm từ 0.01 USD mỗi request xuống còn 0.001 USD. Đối với các ứng dụng crypto sử dụng AI làm oracle (ví dụ: dự đoán giá, xác thực dữ liệu), đây là một tin cực kỳ tốt. Nhưng nó cũng làm tăng rủi ro tập trung hóa: chỉ những công ty có quyền truy cập vào dữ liệu huấn luyện lớn như Meta, Google mới có thể tận dụng lợi thế này. Các mạng lưới phi tập trung với dữ liệu phân tán sẽ khó cạnh tranh.
Ván cược cơ sở hạ tầng đằng sau ứng dụng – tôi thấy một cơ hội lớn ở các dự án xây dựng “AI coprocessor” cho blockchain. Nếu chi phí compute giảm, các zk-proof trở nên rẻ hơn, và các giải pháp layer-2 có thể chạy suy luận AI on-chain với chi phí chấp nhận được. Tôi đang theo dõi một dự án tên là “zkML” đã thử nghiệm thành công việc chạy mô hình 7B tham số trên Ethereum thông qua proof aggregation. Với scaling law mới, họ có thể giảm thời gian tạo proof từ 15 phút xuống còn 2 phút, mở ra khả năng cho các ứng dụng DeFi tự động hóa dựa trên AI.
Contrarian: Góc nhìn phản trực giác
Đa số sẽ nghĩ rằng giảm chi phí compute là tin tốt cho toàn ngành. Nhưng tôi cho rằng nó có thể gây ra một cuộc thanh lọc ngược. Khi compute rẻ, các dự án crypto dựa vào “token burn” từ phí compute sẽ thấy doanh thu giảm. Token của các dự án DePIN như Render, Akash đã tăng 200-300% trong năm qua nhờ kỳ vọng nhu cầu compute tăng. Nếu Meta’s scaling law được áp dụng rộng rãi, nhu cầu compute tổng thể có thể không tăng như dự báo, bởi vì mỗi mô hình cần ít compute hơn. Điều này đặt ra câu hỏi: liệu các dự án này có đang định giá dựa trên một giả định sai lầm? Tôi đã từng chứng kiến điều tương tự trong đợt sụp đổ của FTX, khi các token gắn với thanh khoản sàn giao dịch mất giá trị nhanh chóng sau khi thanh khoản tập trung bị phơi bày.
Tại sao tôi đóng vị thế khi đó – Tôi đã bán toàn bộ token của một dự án DePIN compute vào tuần trước, sau khi đọc bài báo của Meta. Lý do: dự án đó dựa vào mô hình kinh tế mà chi phí compute là nguồn thu chính. Nếu compute giảm 10x, tokenomics của họ sụp đổ. Tôi đã chia sẻ luận điểm này trong một thread kỹ thuật 10 phần, và một số người gọi tôi là “FUD”. Nhưng dữ liệu không biết nói dối: khi tôi mô phỏng tác động của scaling law mới lên doanh thu của họ, mức giảm là 40% trong 6 tháng. Đây là lý do tại sao tôi tin rằng các nhà đầu tư thông minh nên chuyển hướng khỏi compute-thick và sang compute-thin – tức là các ứng dụng tận dụng compute rẻ hơn là cung cấp nó.
Takeaway: Định vị chu kỳ
Chúng ta đang ở giai đoạn đầu của một sự thay đổi cấu trúc trong ngành AI – và crypto là một phần của nó. Nếu bạn đang nắm giữ token của các dự án cơ sở hạ tầng compute, hãy tự hỏi: kịch bản nào sẽ xảy ra nếu chi phí compute giảm 10x trong 12 tháng tới? Câu trả lời không phải là “tất cả đều tăng”. Tôi đang đặt cược vào các dự án xác thực AI và các ứng dụng tận dụng compute để cung cấp dịch vụ mới, chứ không phải vào các nhà cung cấp compute thuần túy. Chuỗi hình thành đáy vĩ mô trông như thế này – trong lịch sử, mỗi khi một công nghệ mới giảm chi phí sản xuất (như container trong vận tải, hay transistor trong chip), những người chiến thắng là những người xây dựng ứng dụng trên đó, không phải người bán nguyên liệu thô. Hãy nhớ lấy điều đó.