66B là một mô hình ngôn ngữ lớn với khoảng 66 tỷ tham số, được huấn luyện trên tập dữ liệu đa dạng và quy mô lớn nhằm xử lý nhiều tác vụ ngôn ngữ tự nhiên như sinh văn bản, trả lời câu hỏi và tóm tắt nội dung.
66B dựa trên cơ chế Transformer với nhiều lớp, cơ chế attention tự động và các kỹ thuật tối ưu hóa tham số cho phân tích ngữ cảnh dài. Nó cân nhắc ngữ cảnh rộng để sinh ý nghĩa và liên kết thông tin.

Quá trình huấn luyện kết hợp dữ liệu công khai và dữ liệu được cấp phép, sử dụng phân tán tính toán trên hệ thống GPU/TPU và thực hành RLHF để cải thiện chất lượng và an toàn. Dữ liệu được xử lý để giảm sai lệch và tối ưu hóa hiệu suất trên các tác vụ khác nhau.
66B có thể hỗ trợ chatbot, trợ lý viết nội dung, phân tích văn bản và viết mã tự động. Tuy nhiên, nó có giới hạn như khả năng sai lệch thông tin, chi phí vận hành cao và rủi ro về thiên lệch dữ liệu. Việc sử dụng phải có giám sát và định hướng đạo đức.

