Falcon Mamba 7B: Một Bước Đột Phá Trong Các Mô Hình AI Không Cần Chú Ý

thứ hai, tháng 11 11, 2024 12:00 AM
4,997

Sự phát triển nhanh chóng của trí tuệ nhân tạo (AI) đang bị ảnh hưởng đáng kể bởi sự xuất hiện của các mô hình không cần chú ý, trong đó Falcon Mamba 7B là một ví dụ nổi bật. Được phát triển bởi Viện Đổi mới Công nghệ (TII) tại Abu Dhabi, mô hình đột phá này rời xa các kiến trúc dựa trên Transformer truyền thống, vốn phụ thuộc nhiều vào cơ chế chú ý. Thay vào đó, Falcon Mamba 7B sử dụng các Mô Hình Không Gian Trạng Thái (SSMs), cung cấp khả năng suy diễn nhanh hơn và tiết kiệm bộ nhớ hơn, giải quyết các thách thức tính toán liên quan đến các tác vụ dài ngữ cảnh. Bằng cách được đào tạo trên một tập dữ liệu rộng lớn gồm 5,5 triệu token, Falcon Mamba 7B tự định vị mình như một lựa chọn cạnh tranh với các mô hình hiện có như Gemma của Google và Phi của Microsoft.

Kiến trúc của Falcon Mamba 7B được thiết kế để duy trì chi phí suy diễn không đổi, bất kể độ dài đầu vào, hiệu quả giải quyết vấn đề mở rộng bậc hai mà các mô hình Transformer gặp phải. Khả năng độc đáo này cho phép nó xuất sắc trong các ứng dụng yêu cầu xử lý ngữ cảnh dài, chẳng hạn như tóm tắt tài liệu và tự động hóa dịch vụ khách hàng. Mặc dù nó đã thể hiện hiệu suất vượt trội trong nhiều tiêu chuẩn xử lý ngôn ngữ tự nhiên, nhưng nó vẫn gặp phải những hạn chế trong các tác vụ đòi hỏi sự hiểu biết ngữ cảnh tinh vi. Tuy nhiên, hiệu suất bộ nhớ và tốc độ của nó khiến nó trở thành một lựa chọn hấp dẫn cho các tổ chức muốn tối ưu hóa giải pháp AI của mình.

Những tác động của Falcon Mamba 7B không chỉ dừng lại ở các chỉ số hiệu suất. Hỗ trợ của nó cho việc lượng tử hóa cho phép triển khai hiệu quả trên cả GPU và CPU, tăng cường thêm tính linh hoạt của nó. Khi cảnh quan AI tiếp tục phát triển, sự thành công của Falcon Mamba 7B cho thấy rằng các mô hình không cần chú ý có thể sớm trở thành tiêu chuẩn cho nhiều ứng dụng. Với nghiên cứu và phát triển đang diễn ra, những mô hình này có thể vượt qua các kiến trúc truyền thống về cả tốc độ và độ chính xác, mở đường cho các ứng dụng đổi mới trong nhiều ngành công nghiệp khác nhau.

Related News

DCG Ra Mắt Yuma Để Tăng Tốc AI Phi Tập Trung Với Bittensor cover
2 ngày trước
DCG Ra Mắt Yuma Để Tăng Tốc AI Phi Tập Trung Với Bittensor
Barry Silbert, CEO của Tập đoàn Tiền tệ Kỹ thuật số (DCG), đã bày tỏ niềm tin rằng Bittensor có thể biến đổi như Bitcoin. Để hỗ trợ tầm nhìn này, DCG đã ra mắt một công ty mới mang tên Yuma, sẽ hoạt động như một bộ tăng tốc cho các startup quan tâm đến việc khám phá hệ sinh thái Bittensor. Bittensor tự nó là một mạng lưới phi tập trung khuyến khích việc đóng góp dữ liệu và sức mạnh tính toán cho các nhiệm vụ AI khác nhau, từ dịch văn bản đến dự đoán cấu trúc protein phức tạp. Silbert so sánh Bittensor với World Wide Web của AI, nhấn mạnh tiềm năng của nó trong việc dân chủ hóa công nghệ AI và giảm bớt sự thống trị của các tập đoàn công nghệ lớn. Yuma nhằm mục đích ươm tạo và xây dựng các doanh nghiệp sử dụng AI phi tập trung, với kế hoạch hỗ trợ các startup và doanh nghiệp trong việc ra mắt các subnet của riêng họ trong khuôn khổ Bittensor. Silbert sẽ đảm nhận vai trò CEO tại Yuma, công ty dự kiến sẽ bắt đầu với khoảng 25 nhân viên. Công ty hoạt động theo mô hình tương tự như Y Combinator, cung cấp tài nguyên và hỗ trợ cho cả quan hệ đối tác tăng tốc và ươm tạo. Hiện tại, Yuma có năm subnet hoạt động, với các dự án bổ sung đang trong quá trình phát triển, thể hiện một loạt các ứng dụng đa dạng bao gồm phát hiện bot, dự đoán chuỗi thời gian và nghiên cứu AI. Sự quan tâm đến AI phi tập trung không phải là một phát triển gần đây đối với DCG, vì họ đã thực hiện khoản đầu tư đầu tiên vào Bittensor vào năm 2021. Với việc bổ sung quỹ dành cho AI thông qua Grayscale, DCG đang định vị mình ở vị trí hàng đầu trong công nghệ mới nổi này. Tiền điện tử gốc của Bittensor, $TAO, đóng vai trò quan trọng trong việc khuyến khích những người lao động phi tập trung, cho dù họ là thợ mỏ cung cấp dịch vụ tính toán hay các xác thực viên đảm bảo các đóng góp chất lượng. Khi Yuma tiếp tục phát triển, nó nhằm mục đích thúc đẩy đổi mới và hợp tác trong hệ sinh thái Bittensor, mở đường cho một kỷ nguyên mới của các ứng dụng AI phi tập trung.
Digital Currency Group Ra Mắt Yuma để Đổi Mới Mạng AI Phi Tập Trung Bittensor cover
2 ngày trước
Digital Currency Group Ra Mắt Yuma để Đổi Mới Mạng AI Phi Tập Trung Bittensor
Digital Currency Group (DCG), dưới sự lãnh đạo của Barry Silbert, đã chính thức ra mắt Yuma, một công ty con mới nhằm thúc đẩy đổi mới trong mạng AI phi tập trung Bittensor. Sứ mệnh của Yuma là trang bị cho các startup và doanh nghiệp những nguồn lực cần thiết để phát triển, đào tạo và sử dụng trí tuệ nhân tạo trong một khuôn khổ phi tập trung. Trung tâm của hệ sinh thái Bittensor là token $TAO, khuyến khích sự tham gia bằng cách thưởng cho những người đóng góp về sức mạnh tính toán và chất lượng công việc của họ. Mô hình này không chỉ khuyến khích hiệu quả mà còn thúc đẩy sự hợp tác giữa các người dùng, biến nó thành một lựa chọn hấp dẫn so với các hệ thống AI tập trung truyền thống do các công ty công nghệ lớn chi phối. Yuma được thiết kế để hỗ trợ nhiều dự án AI có thể kiếm phần thưởng thông qua mạng Bittensor. Công ty cung cấp hai mô hình hợp tác khác nhau: một chương trình tăng tốc dành cho các startup và doanh nghiệp đã thành lập, và một vườn ươm subnet giúp tạo ra các dự án mới từ đầu. Thông qua chương trình vườn ươm subnet ban đầu, Yuma đã hình thành các quan hệ đối tác với một số công ty, bao gồm Sturdy, Masa, Score và Infinite Games. Ngoài ra, công ty đã hợp tác với Foundry để ra mắt subnet S&P 500 Oracle, thể hiện cam kết của mình trong việc xây dựng một hệ sinh thái vững mạnh xung quanh AI phi tập trung. Như đồng sáng lập Bittensor Jacob Steeves đã lưu ý, nền tảng này được tạo ra để cung cấp một lựa chọn cạnh tranh cho cách tiếp cận từ trên xuống truyền thống, hạn chế quyền truy cập vào các khả năng AI tiên tiến. Sự tham gia của DCG với Bittensor bắt đầu từ năm 2021, và nhánh quản lý tài sản của nó, Grayscale, đã giới thiệu một Quỹ Bittensor Trust và một quỹ AI phi tập trung, với Bittensor chiếm 21% trong số đó. Đầu tư chiến lược này nhấn mạnh tầm quan trọng ngày càng tăng của các mạng phi tập trung trong tương lai của trí tuệ nhân tạo và quyền sở hữu kỹ thuật số.
Mistral AI Cải Tiến Nền Tảng Đa Phương Tiện Miễn Phí, Cạnh Tranh Với Các Gã Khổng Lồ Ngành Công Nghiệp cover
3 ngày trước
Mistral AI Cải Tiến Nền Tảng Đa Phương Tiện Miễn Phí, Cạnh Tranh Với Các Gã Khổng Lồ Ngành Công Nghiệp
Mistral AI, một startup của Pháp được thành lập bởi các cựu nhân viên của Google và Meta, gần đây đã cải tiến nền tảng AI đa phương tiện miễn phí của mình, định vị nó như một đối thủ mạnh mẽ với các đối thủ đã được thiết lập như OpenAI và Anthropic. Bộ công cụ cập nhật bao gồm khả năng tìm kiếm web nâng cao và tạo hình ảnh, cùng với một mô hình hình ảnh mới có tên Pixtral Large, với 124 tỷ tham số. Mô hình này đã vượt qua các tiêu chuẩn đáng chú ý, đạt 69,4% độ chính xác trên MathVista và 93,3% trên DocVQA. Cam kết của Mistral trong việc cung cấp các công cụ AI tiên tiến miễn phí là rõ ràng, khi họ đã giới thiệu các tính năng như phân tích tài liệu và một LLM tập trung vào lập trình có tên Codestral trong định dạng beta miễn phí. Việc tích hợp Flux Pro cho tạo hình ảnh đã giúp Mistral nổi bật, vì nó cung cấp chất lượng và tốc độ vượt trội so với các đối thủ. Giao diện Canvas mới cho phép người dùng chỉnh sửa nội dung trực tiếp, biến Le Chat, chatbot của Mistral, thành một công cụ sẵn sàng cho doanh nghiệp. Trong khi Mistral giữ khoảng cách với việc theo đuổi trí tuệ nhân tạo tổng quát (AGI), họ tập trung vào việc làm cho AI tiên tiến trở nên dễ tiếp cận với người dùng. Công ty đã được định giá 2 tỷ USD trong vòng gọi vốn gần nhất, phản ánh sự tự tin mạnh mẽ của nhà đầu tư vào cách tiếp cận đổi mới của họ. Trong các so sánh với ChatGPT, Le Chat của Mistral xuất sắc trong các ứng dụng thực tiễn, đặc biệt là trong tìm kiếm web và tạo hình ảnh. Trong khi GPT-4o của ChatGPT vẫn là người dẫn đầu ngành trong lý luận tinh tế và viết sáng tạo, Le Chat cung cấp giá trị đáng kể cho các nhiệm vụ năng suất hàng ngày và tạo nội dung hình ảnh. Khả năng tạo ra các đại lý AI tùy chỉnh miễn phí càng tăng thêm sức hấp dẫn của Mistral, đặc biệt là đối với người dùng và các doanh nghiệp nhỏ đang tìm kiếm các giải pháp tiết kiệm chi phí. Khi Mistral tiếp tục hoàn thiện các sản phẩm của mình, họ cung cấp một lựa chọn hấp dẫn cho các nền tảng AI truyền thống, biến họ thành một người chơi đáng chú ý trong bối cảnh AI sinh tạo đang phát triển.
Kết quả tài chính sắp tới của NVIDIA có thể ảnh hưởng đến thị trường token AI cover
3 ngày trước
Kết quả tài chính sắp tới của NVIDIA có thể ảnh hưởng đến thị trường token AI
NVIDIA, một trong những công ty hàng đầu trong công nghệ GPU, sẽ công bố kết quả tài chính quý 3 năm tài chính 2024 vào ngày 20 tháng 11. Thông báo này được mong đợi rất nhiều trong thị trường tiền điện tử, đặc biệt là đối với các token tập trung vào AI như Render (RENDER), Grass (GRASS) và PAAL AI. Render gần đây đã thực hiện việc di chuyển và tái thương hiệu từ Ethereum sang Solana, định vị mình như một đồng coin AI nổi bật. Hiện đang giao dịch ở mức 7,67 USD, RENDER đã tăng 3,75% trong tuần qua, cho thấy sự tự tin ngày càng tăng của nhà đầu tư. Các nhà phân tích cho rằng nếu kết quả tài chính của NVIDIA vượt qua mong đợi, RENDER có thể tăng lên 8,83 USD, với kịch bản lạc quan đạt 11,86 USD. Tuy nhiên, có những lo ngại về hiệu ứng 'bán tin tức' có thể dẫn đến việc giá giảm xuống 5,47 USD nếu sự hứng thú giảm bớt. Grass (GRASS), một token AI khác, đã gặp khó khăn, giảm 24,31% trong tuần qua và hiện đang giao dịch ở mức 2,36 USD. Nó đang nằm trong một mô hình wedge giảm, thường báo hiệu một sự bứt phá tiềm năng. Mức hỗ trợ cho GRASS là 2,30 USD, với các mức kháng cự ở 3,29 USD và 3,91 USD. Chỉ số RSI của token cho thấy tình trạng bán quá mức, nhưng khối lượng giao dịch yếu cho thấy áp lực mua hạn chế. Một hiệu suất mạnh từ NVIDIA có thể thay đổi tâm lý tích cực cho GRASS, trong khi kết quả tài chính thất vọng có thể làm trầm trọng thêm xu hướng giảm của nó. PAAL AI đã trải qua một tuần biến động, hiện đang giao dịch ở mức 0,1878 USD sau khi phục hồi đáng kể 25,20%. Điều này theo sau một sự sụt giảm nghiêm trọng 70% do lo ngại về một cuộc sáp nhập đề xuất với ASI Alliance. Thông báo về cuộc sáp nhập đã dẫn đến một đợt bán tháo nhanh chóng, do lo ngại về tỷ lệ chuyển đổi token và thời gian vesting dài. Sự minh bạch liên quan đến cuộc sáp nhập là rất quan trọng, như đã được nhấn mạnh bởi các nhân vật trong ngành. Hiệu suất của cổ phiếu NVIDIA có thể ảnh hưởng lớn đến quỹ đạo của PAAL AI, với khả năng phục hồi hoặc giảm thêm tùy thuộc vào nhu cầu thị trường và tâm lý nhà đầu tư.
io.net Hợp tác với Zero 1 để Tăng cường Phát triển AI Phi tập trung cover
3 ngày trước
io.net Hợp tác với Zero 1 để Tăng cường Phát triển AI Phi tập trung
Mạng lưới Hạ tầng Vật lý Phi tập trung (DePIN) io.net đang có những bước tiến trong lĩnh vực AI phi tập trung (DeAI) bằng cách mở rộng dịch vụ kết nối GPU Compute tới Zero 1 Labs. Sự hợp tác này nhằm nâng cao phát triển DeAI bằng cách cung cấp cho Zero 1 quyền truy cập vào sức mạnh tính toán GPU hiệu suất cao. Đối tác này dự kiến sẽ hỗ trợ việc đào tạo các tác nhân AI cho Keymaker, thị trường mở của Zero 1, từ đó tăng tốc phát triển tổng thể các ứng dụng AI phi tập trung. Các nhà phát triển và người dùng trên nền tảng Zero 1 sẽ được hưởng lợi từ việc tính toán GPU hiệu quả về chi phí dựa trên nhu cầu, giúp dễ dàng sử dụng các công cụ để xây dựng và triển khai các ứng dụng DeAI. Zero 1 hoạt động như một hệ sinh thái AI phi tập trung dựa trên bằng chứng cổ phần, cho phép các nhà đổi mới và phát triển tạo ra các ứng dụng DeAI tối ưu với Mã hóa Hoàn toàn Đồng nhất (FHE). Điều này đảm bảo quản lý dữ liệu an toàn và quyền riêng tư ở cấp độ tính toán AI. Sự hợp tác với io.net sẽ nâng cao khả năng tính toán của Zero 1, đặc biệt cho Keymaker, phục vụ như một thị trường AI đa phương thức. Với hơn 100 công cụ DeAI có sẵn, thị trường này được thiết kế để tạo điều kiện cho việc tạo ra và khám phá các ứng dụng DeAI, phục vụ cho các nhà phát triển nhằm xây dựng các tác nhân AI hiệu quả trên chuỗi. Ngoài các dịch vụ tính toán GPU, io.net và Zero 1 Labs cam kết thúc đẩy đổi mới thông qua các sáng kiến chung, bao gồm hackathon và chương trình thưởng. Những sự kiện do cộng đồng tổ chức này sẽ cho phép các nhà phát triển hợp tác và chia sẻ kinh nghiệm của họ, làm phong phú thêm hệ sinh thái DeAI. Sự trao đổi chiến lược tài nguyên giữa hai thực thể sẽ cho phép các dự án trong hệ sinh thái của Zero 1 tiếp cận chuyên môn AI tiên tiến và tài nguyên hiệu suất cao từ io.net. Cuối cùng, sự hợp tác này dự kiến sẽ nâng cao thị phần của Zero 1 trong lĩnh vực phát triển DeAI trong khi giảm chi phí hạ tầng, từ đó tăng tốc đổi mới trong không gian AI phi tập trung.
Theta Labs Hợp Tác với Đại Học Bắc Kinh để Thúc Đẩy Nghiên Cứu AI cover
4 ngày trước
Theta Labs Hợp Tác với Đại Học Bắc Kinh để Thúc Đẩy Nghiên Cứu AI
Theta Labs đã đạt được những bước tiến đáng kể trong lĩnh vực nghiên cứu AI và blockchain bằng cách công bố Đại học Bắc Kinh là khách hàng mới cho nền tảng EdgeCloud AI của mình. Đại học Bắc Kinh, một tổ chức danh tiếng xếp hạng trong top 10 toàn cầu về khoa học máy tính, sẽ sử dụng cơ sở hạ tầng GPU đám mây lai của Theta để nâng cao khả năng nghiên cứu của mình. Sự hợp tác này là một phần trong sáng kiến rộng lớn hơn của Theta nhằm hỗ trợ nghiên cứu AI tiên tiến tại nhiều cơ sở học thuật khác nhau, bao gồm các trường đại học nổi bật ở Mỹ và Hàn Quốc, như Đại học Oregon và KAIST. Sự bổ sung của các khách hàng doanh nghiệp như Liner và Jamcoding càng nhấn mạnh ảnh hưởng ngày càng tăng của Theta trong lĩnh vực AI. Giáo sư Zhen Xiao, một nhân vật hàng đầu trong hệ thống phân tán và AI tại Đại học Bắc Kinh, đã đóng vai trò then chốt trong sự hợp tác này. Với bằng tiến sĩ từ Đại học Cornell và hồ sơ xuất bản phong phú, nghiên cứu của Giáo sư Xiao trải rộng qua nhiều lĩnh vực, bao gồm học sâu và blockchain. Sự tham gia của ông với Theta bắt đầu vào năm 2022 khi ông gia nhập Hội đồng Cố vấn Theta, đóng góp vào sự phát triển của nền tảng EdgeCloud. Sự hợp tác đã mang lại một số bài báo nghiên cứu chung được trình bày tại các hội nghị danh giá, thể hiện những tiến bộ trong các cơ chế phòng thủ thích ứng cho các mô hình AI và các khung blockchain có thể mở rộng. Việc tích hợp cơ sở hạ tầng GPU đám mây lai của EdgeCloud dự kiến sẽ cách mạng hóa nghiên cứu AI tại Đại học Bắc Kinh. Giáo sư Xiao bày tỏ sự hào hứng về tiềm năng của EdgeCloud trong việc tạo điều kiện cho các dự án AI phân tán quy mô lớn, cho biết rằng nó đại diện cho một trong những hệ thống GPU lai phức tạp nhất mà ông từng gặp. Sự hợp tác này không chỉ nâng cao khả năng nghiên cứu tại Đại học Bắc Kinh mà còn định vị Theta như một nhà lãnh đạo trong các nền tảng GPU phi tập trung cho học thuật ở châu Á, với những tham vọng mở rộng toàn cầu. Tương lai của đổi mới AI có khả năng sẽ được thúc đẩy bởi các công ty hạ tầng như Theta, những công ty khai thác hiệu quả tính toán phân tán và tài nguyên GPU.