Khám phá 66B, một mô hình ngôn ngữ lớn được phát triển với quy mô 66 tỷ tham số và các đặc tính nổi bật cho các tác vụ AI hiện đại.
66B là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ như sinh văn bản, tóm tắt và trả lời câu hỏi. Với quy mô 66 tỷ tham số, nó cân bằng giữa khả năng học hỏi và hiệu quả tính toán, phù hợp cho nhiều hệ thống sản phẩm và nghiên cứu.
Kiến trúc cơ bản dựa trên transformer với nhiều lớp tự attention và feed-forward. Số tham số 66 tỷ cho phép mô hình nắm bắt mối quan hệ ngữ nghĩa phức tạp trong dữ liệu, đồng thời tối ưu cho inference nhanh trên phần cứng thương mại.
66B được huấn luyện trên một tập dữ liệu đa dạng, gồm văn bản từ sách, bài báo, trang web và đối thoại. Quá trình huấn luyện tập trung vào vấn đề đạo đức, an toàn và chất lượng dữ liệu nhằm giảm bại lệ và tăng tính khái quát.
Mô hình đạt được hiệu suất tốt trên nhiều benchmark ngôn ngữ tự nhiên và có thể được tinh chỉnh cho các nhiệm vụ ngành nghề như chăm sóc khách hàng tự động, hỗ trợ viết nội dung và trợ lý ảo trong doanh nghiệp.
Ở quy mô 66B, chi phí huấn luyện và yêu cầu phần cứng là thách thức. Các kỹ thuật như pruning, quantization và huấn luyện định hướng ngữ cảnh giúp tối ưu hiệu quả mà vẫn duy trì độ chính xác cao.
