Cuộc chiến "trăm mô hình" trong lĩnh vực AI: Từ vấn đề học thuật đến vấn đề kỹ thuật
Tháng trước, ngành công nghiệp AI đã bùng nổ một "cuộc chiến động vật".
Một bên là mô hình Llama do Meta phát hành, nhờ vào đặc tính mã nguồn mở, được cộng đồng phát triển ưa chuộng. Bên còn lại là mô hình lớn mang tên Falcon. Vào tháng 5, Falcon-40B ra mắt, vượt qua Llama để đứng đầu bảng xếp hạng LLM mã nguồn mở.
Danh sách này được tạo ra bởi cộng đồng mô hình mã nguồn mở, cung cấp một bộ tiêu chuẩn để đo lường khả năng của LLM và thực hiện xếp hạng. Bảng xếp hạng chủ yếu là sự cạnh tranh giữa Llama và Falcon. Sau khi Llama 2 được phát hành, gia đình Llama đã giành lại một vị trí; đến đầu tháng 9, Falcon đã phát hành phiên bản 180B và một lần nữa đạt được xếp hạng cao hơn.
Thú vị là, các nhà phát triển Falcon là Viện Nghiên cứu Đổi mới Công nghệ ở Abu Dhabi, thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Chính phủ Các Tiểu vương quốc Ả Rập Thống nhất cho biết họ tham gia vào lĩnh vực này nhằm lật đổ các người chơi cốt lõi.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn "quần ma loạn vũ": các quốc gia và doanh nghiệp có tiềm lực tài chính đều đang xây dựng mô hình ngôn ngữ lớn của riêng mình. Chỉ trong vòng các nước Vùng Vịnh, không chỉ có một người chơi. Vào tháng 8, Ả Rập Xê Út vừa mua hơn 3000 chip H100 cho các trường đại học trong nước, để đào tạo LLM.
Tình hình đa dạng như vậy trong ngành AI phải được ghi nhận nhờ vào bài báo "Attention Is All You Need" được Google công bố vào năm 2017. Bài báo này đã công khai thuật toán Transformer, trở thành động lực chính cho làn sóng AI hiện tại. Tất cả các mô hình lớn hiện tại, bao gồm cả series GPT gây chấn động thế giới, đều được xây dựng trên nền tảng Transformer.
Sự ra đời của Transformer đã làm giảm tốc độ đổi mới của các thuật toán cơ bản trong giới học thuật. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, cấu trúc mô hình ngày càng trở thành yếu tố quan trọng trong các cuộc thi AI. Chỉ cần có một khả năng kỹ thuật nhất định, các công ty công nghệ đều có thể phát triển các mô hình lớn.
Tuy nhiên, việc gia nhập dễ dàng không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI. Năng lực cạnh tranh cốt lõi của các mô hình lớn mã nguồn mở nằm ở cộng đồng nhà phát triển năng động. Dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở, nhiều mô hình đã được phát triển dựa trên nó.
Trong khi đó, sự chênh lệch hiệu suất vẫn rất rõ ràng. Trong bài kiểm tra AgentBench mới nhất, GPT-4 dẫn đầu với 4.41 điểm, trong khi điểm số của các LLM mã nguồn mở khác thường chỉ khoảng 1 điểm. Sự chênh lệch này xuất phát từ đội ngũ các nhà khoa học hàng đầu và kinh nghiệm tích lũy qua nhiều nghiên cứu lâu dài.
Ngoài những thách thức kỹ thuật, việc kiếm lợi nhuận cũng là một vấn đề lớn. Hiện tại, hầu hết các công ty AI đang phải đối mặt với vấn đề mất cân bằng nghiêm trọng giữa chi phí và doanh thu. Theo ước tính, các công ty công nghệ toàn cầu sẽ đầu tư 200 tỷ USD mỗi năm vào cơ sở hạ tầng mô hình lớn, trong khi doanh thu dự kiến chỉ đạt 75 tỷ USD, có một khoảng cách lớn.
Tổng thể mà nói, lĩnh vực AI đang trải qua sự chuyển đổi từ vấn đề học thuật thành vấn đề kỹ thuật. Mặc dù rào cản gia nhập đã giảm, nhưng việc tạo ra giá trị thực sự và thành công thương mại vẫn phải đối mặt với nhiều thách thức. Những người chiến thắng trong tương lai có thể không chỉ dựa vào chính mô hình, mà còn cần có những bước đột phá trong các tình huống ứng dụng, xây dựng hệ sinh thái và mô hình kinh doanh.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
16 thích
Phần thưởng
16
6
Đăng lại
Chia sẻ
Bình luận
0/400
liquidation_watcher
· 13giờ trước
Cuộc chiến mô hình đang diễn ra
Xem bản gốcTrả lời0
MevTears
· 08-12 10:44
Thông số hiệu suất không phải là sự thật cứng nhắc
Ngành AI bước vào cuộc chiến trăm mô hình, rào cản kỹ thuật thả nhưng thách thức thương mại vẫn còn.
Cuộc chiến "trăm mô hình" trong lĩnh vực AI: Từ vấn đề học thuật đến vấn đề kỹ thuật
Tháng trước, ngành công nghiệp AI đã bùng nổ một "cuộc chiến động vật".
Một bên là mô hình Llama do Meta phát hành, nhờ vào đặc tính mã nguồn mở, được cộng đồng phát triển ưa chuộng. Bên còn lại là mô hình lớn mang tên Falcon. Vào tháng 5, Falcon-40B ra mắt, vượt qua Llama để đứng đầu bảng xếp hạng LLM mã nguồn mở.
Danh sách này được tạo ra bởi cộng đồng mô hình mã nguồn mở, cung cấp một bộ tiêu chuẩn để đo lường khả năng của LLM và thực hiện xếp hạng. Bảng xếp hạng chủ yếu là sự cạnh tranh giữa Llama và Falcon. Sau khi Llama 2 được phát hành, gia đình Llama đã giành lại một vị trí; đến đầu tháng 9, Falcon đã phát hành phiên bản 180B và một lần nữa đạt được xếp hạng cao hơn.
Thú vị là, các nhà phát triển Falcon là Viện Nghiên cứu Đổi mới Công nghệ ở Abu Dhabi, thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Chính phủ Các Tiểu vương quốc Ả Rập Thống nhất cho biết họ tham gia vào lĩnh vực này nhằm lật đổ các người chơi cốt lõi.
Hiện nay, lĩnh vực AI đã bước vào giai đoạn "quần ma loạn vũ": các quốc gia và doanh nghiệp có tiềm lực tài chính đều đang xây dựng mô hình ngôn ngữ lớn của riêng mình. Chỉ trong vòng các nước Vùng Vịnh, không chỉ có một người chơi. Vào tháng 8, Ả Rập Xê Út vừa mua hơn 3000 chip H100 cho các trường đại học trong nước, để đào tạo LLM.
Tình hình đa dạng như vậy trong ngành AI phải được ghi nhận nhờ vào bài báo "Attention Is All You Need" được Google công bố vào năm 2017. Bài báo này đã công khai thuật toán Transformer, trở thành động lực chính cho làn sóng AI hiện tại. Tất cả các mô hình lớn hiện tại, bao gồm cả series GPT gây chấn động thế giới, đều được xây dựng trên nền tảng Transformer.
Sự ra đời của Transformer đã làm giảm tốc độ đổi mới của các thuật toán cơ bản trong giới học thuật. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán, cấu trúc mô hình ngày càng trở thành yếu tố quan trọng trong các cuộc thi AI. Chỉ cần có một khả năng kỹ thuật nhất định, các công ty công nghệ đều có thể phát triển các mô hình lớn.
Tuy nhiên, việc gia nhập dễ dàng không có nghĩa là ai cũng có thể trở thành ông lớn trong thời đại AI. Năng lực cạnh tranh cốt lõi của các mô hình lớn mã nguồn mở nằm ở cộng đồng nhà phát triển năng động. Dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở, nhiều mô hình đã được phát triển dựa trên nó.
Trong khi đó, sự chênh lệch hiệu suất vẫn rất rõ ràng. Trong bài kiểm tra AgentBench mới nhất, GPT-4 dẫn đầu với 4.41 điểm, trong khi điểm số của các LLM mã nguồn mở khác thường chỉ khoảng 1 điểm. Sự chênh lệch này xuất phát từ đội ngũ các nhà khoa học hàng đầu và kinh nghiệm tích lũy qua nhiều nghiên cứu lâu dài.
Ngoài những thách thức kỹ thuật, việc kiếm lợi nhuận cũng là một vấn đề lớn. Hiện tại, hầu hết các công ty AI đang phải đối mặt với vấn đề mất cân bằng nghiêm trọng giữa chi phí và doanh thu. Theo ước tính, các công ty công nghệ toàn cầu sẽ đầu tư 200 tỷ USD mỗi năm vào cơ sở hạ tầng mô hình lớn, trong khi doanh thu dự kiến chỉ đạt 75 tỷ USD, có một khoảng cách lớn.
Tổng thể mà nói, lĩnh vực AI đang trải qua sự chuyển đổi từ vấn đề học thuật thành vấn đề kỹ thuật. Mặc dù rào cản gia nhập đã giảm, nhưng việc tạo ra giá trị thực sự và thành công thương mại vẫn phải đối mặt với nhiều thách thức. Những người chiến thắng trong tương lai có thể không chỉ dựa vào chính mô hình, mà còn cần có những bước đột phá trong các tình huống ứng dụng, xây dựng hệ sinh thái và mô hình kinh doanh.