66B là một mô hình ngôn ngữ có khoảng 66 tỷ tham số, xếp vào nhóm các LLM cỡ trung trong bảng xếp hạng tham số. Nó được thiết kế để cân bằng giữa hiệu suất và chi phí vận hành, phù hợp cho triển khai ở quy mô vừa phải.
66B sử dụng kiến trúc transformer nhiều lớp, cơ chế attention và tối ưu hóa nhằm xử lý ngữ cảnh dài. Mô hình được huấn luyện trên tập dữ liệu đa dạng gồm văn bản từ web, sách và tài liệu chuyên ngành. Sau giai đoạn tiền huấn luyện, bước tinh chỉnh bằng RLHF có thể giúp cải thiện chất lượng đầu ra và tính an toàn nội dung.
Với quy mô 66B, nó có thể được dùng cho tóm tắt văn bản, hỏi đáp, hỗ trợ viết mã, sinh nội dung sáng tạo và trợ lý ngôn ngữ cho doanh nghiệp. Tuy vậy, vẫn tồn tại giới hạn như hiểu biết ngữ cảnh ngắn hạn, khả năng sai lệch thông tin và chi phí vận hành cao so với các mô hình nhỏ hơn hoặc lớn hơn.
So với các mô hình 7B và 13B, 66B mang lại hiệu suất cao hơn ở nhiều tác vụ văn bản, nhưng đòi hỏi hạ tầng mạnh hơn để tối ưu hóa độ trễ và thông lượng. So với các mô hình lớn 175B, 66B là lựa chọn cân bằng giữa hiệu suất và khả năng triển khai dễ dàng ở nhiều môi trường.
