Tether phát hành 1914 tỷ Token STEM dữ liệu, đặt cược vào mô hình nhỏ địa phương "khả năng giải thích"

Gã khổng lồ stablecoin Tether dưới sự quản lý của Tether AI Research hôm nay đã phát hành QVAC Genesis III, một bộ dữ liệu huấn luyện tổng hợp dành cho các lĩnh vực khoa học, công nghệ, kỹ thuật và toán học, với quy mô đạt 1914,3 tỷ Token, bao phủ 159,6 triệu tài liệu.

Được biết, Tether hy vọng thông qua điều này sẽ nâng cao khả năng suy luận và giảng dạy của các mô hình AI nhỏ, giúp nhiều trợ lý AI có thể trực tiếp hoạt động trên máy tính xách tay, điện thoại di động và máy chủ cục bộ, giảm bớt sự phụ thuộc vào các mô hình đám mây lớn.

Genesis III tiếp tục lộ trình dữ liệu của Genesis I và Genesis II, nội dung bao phủ 19 lĩnh vực liên quan đến các hệ thống khóa học như sinh học, hóa học, vật lý, toán học, khoa học máy tính, y học, kỹ thuật điện và học máy, phục vụ cho ứng dụng ở cấp trung học, đại học và chuyên nghiệp. Tether cho biết, bộ dữ liệu sẽ tập trung vào việc huấn luyện mô hình giải thích các bước giải quyết vấn đề, nhận diện suy luận sai và đưa ra sửa chữa, thay vì chỉ xuất ra câu trả lời cuối cùng.

Theo kết quả thử nghiệm được Tether công bố, mô hình 17 tỷ tham số được huấn luyện bằng dữ liệu tùy chọn Genesis III đã đạt tỷ lệ trả lời hiệu quả 99,45% trong các bài kiểm tra chuẩn liên quan. So với mô hình huấn luyện Cosmopedia-v2 có quy mô Token tương đương, Genesis III đã cải thiện điểm số lần lượt 28,57, 21,35 và 15,03 điểm phần trăm trên các chuẩn ARC-Easy, ARC-Challenge và MMLU STEM.