Vượt mặt đối thủ Elon Musk, Mark Zuckerberg tuyên bố sở hữu cụm chip H100 ‘khủng’ nhất thế giới, giá trị ước tính lên tới 4 tỷ USD
Với hơn 100.000 chip H100, Meta đang đầu tư mạnh tay để huấn luyện mô hình Llama 4 – phiên bản AI thế hệ mới đầy hứa hẹn với khả năng tư duy và tốc độ vượt trội.
Theo Mark Zuckerberg , lượng sức mạnh tính toán đang được sử dụng để đào tạo các mô hình AI Llama 4 sắp tới của Meta sẽ lớn hơn bất kỳ đối thủ nào hiện tại.
Trong cuộc công bố kết quả tài chính quý III/2024 của Meta vào tuần trước, vị CEO cho biết: “Mô hình ngôn ngữ lớn Llama 4 đang trong quá trình phát triển. Chúng tôi huấn luyện nó trên cụm máy chủ sử dụng hơn 100.000 chip H100, nhiều hơn mọi hệ thống từng được công bố trên truyền thông”.
Con số 100.000 được cho là có thể ám chỉ đến siêu máy tính "Colossus" do startup xAi của Elon Musk ra mắt vào mùa hè này. CEO Tesla đã gọi đây là siêu máy tính lớn nhất thế giới và nói rằng xAI đang sử dụng 100.000 chip H100 của Nvidia để đào tạo chatbot Grok.
Chip H100 của Nvidia, còn gọi là Hopper, được nhiều tập đoàn công nghệ lớn và startup AI săn đón vì sức mạnh tính toán và nhằm đào tạo các mô hình ngôn ngữ lớn. Mỗi chip này có giá ước tính từ 30.000 đến 40.000 USD, đồng nghĩa cụm máy chủ của Meta giá trị hơn 4 tỷ USD nếu chỉ tính riêng tiền mua GPU.
Số lượng chip H100 mà một công ty sở hữu đang trở thành yếu tố thu hút nhân tài hàng đầu trong lĩnh vực AI. CEO của Perplexity, Aravind Srinivas, đã chia sẻ thông tin này khi ông cố gắng chiêu mộ một nhà nghiên cứu cao cấp từ Meta.
"Tôi đã cố gắng tuyển một nhà nghiên cứu từ Meta, và mọi người biết ông ấy nói gì không? Ông ấy bảo tôi: Hãy quay lại khi anh có 10.000 chip H100", Srinivas tiết lộ vào tháng 3.
Được biết Meta đã phát hành các mô hình Llama 3 của mình vào tháng 4 và tháng 7. Trong cuộc gọi thu nhập, Zuckerberg cũng tuyên bố rằng mô hình Llama 4 sẽ có "khả năng suy đoán mạnh hơn" và "nhanh hơn nhiều". Ông dự kiến các mô hình nhỏ có thể sẵn sàng ra mắt sớm nhất là vào đầu năm 2025.
Khi được hỏi về khoản chi lớn của Meta cho AI, Zuckerberg nói rằng công ty đang xây dựng cơ sở hạ tầng AI nhanh hơn dự kiến và ông "hài lòng khi đội ngũ vẫn thực hiện tốt điều đó", ngay cả khi nó có nghĩa là chi phí cao hơn.
Meta dự kiến chi phí vốn sẽ tiếp tục tăng vào năm tới khi công ty mở rộng cơ sở hạ tầng AI. CEO Meta không cho biết chính xác cụm chip H100 của công ty lớn đến mức nào.
Trong khi đó, Musk tuyên bố vào đầu tuần này rằng xAI sẽ sớm tăng gấp đôi quy mô cụm lên 200.000 chip H100 và H200 trong những tháng tới.
Theo Business Insider
>> Reuters: Trung Quốc sử dụng mã nguồn mở của Meta để phát triển mô hình AI sử dụng trong quân sự
