Bài viết ngắn gọn giới thiệu 66B, một mô hình ngôn ngữ lớn, với kiến trúc, dữ liệu huấn luyện và hiệu năng trên các tác vụ ngôn ngữ.
66B là một mô hình ngôn ngữ lớn (LLM) được thiết kế để xử lý các tác vụ hiểu và sinh ngôn ngữ tự nhiên với quy mô tham số lớn.
Kiến trúc của 66B dựa trên mạng Transformer với nhiều lớp tự chú ý và cơ chế tối ưu hóa cho tốc độ suy luận. Mô hình được huấn luyện trên tập dữ liệu đa dạng nhằm tăng khả năng hiểu và sinh văn bản.
Quy trình huấn luyện bao gồm việc xử lý dữ liệu văn bản lớn từ nhiều nguồn, với biện pháp lọc và cân bằng để giảm thiên lệch. Dữ liệu được trích xuất từ web, sách, bài báo và các nguồn công khai khác.
66B cho thấy hiệu năng mạnh trên nhiều tác vụ tổng quát và chuyên biệt, như sinh văn bản và trả lời câu hỏi. Khi so sánh với các mô hình khác, 66B có khả năng sinh văn bản mượt mà nhưng cần tối ưu hóa chi phí và độ trễ cho triển khai quy mô lớn.
