Chỉ trong vài năm ngắn ngủi, từ viết tắt GPT đã trở thành biểu tượng của một cuộc cách mạng công nghệ lớn. Đằng sau ba chữ cái này là một sự thay đổi mô hình: chúng ta đã chuyển từ các công cụ điện toán được điều khiển bằng lệnh sang những cộng tác viên kỹ thuật số mà chúng ta có thể đối thoại cùng. Để thực sự nắm bắt được tầm vóc của cuộc cách mạng này, người ta phải nhìn vào bên trong và xem xét cơ chế phức tạp của trí tuệ này.
I. Định nghĩa kỹ thuật: Ba trụ cột của từ viết tắt
GPT là viết tắt của Generative Pre-trained Transformer (Transformer được huấn luyện trước mang tính tạo sinh). Mỗi thuật ngữ mô tả một giai đoạn quan trọng trong quá trình tạo ra mô hình.
1. Tạo sinh
Trong lĩnh vực trí tuệ nhân tạo, theo truyền thống người ta phân biệt giữa hai loại mô hình: mô hình phân biệt và mô hình tạo sinh.
- Một mô hình phân biệt đối xử Quan sát dữ liệu và gán nhãn cho nó (ví dụ: “Đây là ảnh một con mèo”).
- Một mô hình tạo sinhGiống như GPT, nó còn tiến xa hơn. Dựa trên kiến thức của mình, nó có khả năng tạo ra dữ liệu hoàn toàn mới chưa từng tồn tại trước đây. Nếu nó đã phân tích hàng triệu bài thơ, nó sẽ không đọc thuộc lòng một bài nào; nó sẽ sáng tác một bài thơ mới, tuân thủ các quy tắc về vần và nhịp điệu mà nó đã "hiểu".
2. Đã được đào tạo trước
Đây chính là sức mạnh thực sự. Trước khi đến được màn hình của bạn, mô hình đã trải qua một giai đoạn học tập khổng lồ. Hãy tưởng tượng một thư viện chứa một phần khổng lồ của internet toàn cầu: toàn bộ Wikipedia, các thư viện kỹ thuật số, diễn đàn thảo luận (như Reddit), kho mã nguồn máy tính (GitHub) và kho lưu trữ tin tức.
Trong nhiều tháng, trên hàng nghìn bộ xử lý hiệu năng cao, mô hình đã "đọc" văn bản này để học không chỉ các sự kiện cụ thể, mà còn cả cấu trúc sâu sắc của chính ngôn ngữ. Quá trình "huấn luyện trước" này cho phép mô hình có được nền tảng văn hóa và ngôn ngữ phổ quát trước khi nhận được câu hỏi đầu tiên.
3. Máy biến áp
Đây là bước đột phá khoa học của năm 2017, bắt nguồn từ một bài nghiên cứu của Google có tiêu đề “Chú ý là tất cả những gì bạn cầnTrước khi có Transformer, các mô hình AI đọc câu từng từ một, theo thứ tự (mô hình đệ quy). Tuy nhiên, Transformer xem xét toàn bộ câu một cách đồng thời.
Nhờ một cơ chế gọi là Sự chú ý, nó có thể đánh giá tầm quan trọng của mỗi từ so với các từ khác. Trong câu “Con vật không băng qua đường vì nó quá mệt.,” Người Biến Hình hiểu rằng “it“ đề cập đến con vật. Nếu câu kết thúc bằng “vì nó quá rộng"Nó ngay lập tức hiểu rằng 'nó' ở đây ám chỉ con đường. Khả năng nắm bắt ngữ cảnh phức tạp này chính là điều khiến phản hồi của GPT trở nên gần gũi và chân thực hơn."
Liên quan: ChatGPT gặp sự cố? Tại sao AI lại gặp lỗi và làm thế nào để truy cập các GPT tốt nhất miễn phí
II. Tóm lược về quá trình tiến hóa: Từ GPT-1 đến GPT-5
Câu chuyện của GPT là một câu chuyện về sự tăng trưởng theo cấp số nhân, được thúc đẩy bởi chính công ty. OpenAI.
Sự thức tỉnh (GPT-1 và GPT-2)
Năm 2018, GPT-1 đã đặt nền móng. Nó có thể thực hiện các tác vụ đơn giản, nhưng bộ nhớ của nó ngắn. Năm 2019, GPT-2 đã được nâng cấp đáng kể với 1.5 tỷ tham số (các kết nối nội bộ của mô hình). Nó trở nên thành thạo đến mức tạo ra văn bản mạch lạc đến nỗi OpenAI ban đầu đã do dự không muốn phát hành nó, vì lo sợ nó sẽ bị sử dụng để tạo ra thông tin sai lệch trên quy mô công nghiệp.
Vụ nổ (GPT-3 và 3.5)
Năm 2020, GPT-3 đã vượt qua một rào cản tâm lý với 175 tỷ tham số. Nó là một "quái vật" tính toán. Nó không còn chỉ là một trình dịch hay một trình soạn thảo; nó đã trở nên có khả năng suy luận logic và lập trình bằng hàng chục ngôn ngữ lập trình khác nhau. Phiên bản GPT-3.5 đã đóng vai trò là động cơ cho sự ra mắt công khai của ChatGPT vào tháng 11 năm 2022, gây ra một sự chấn động toàn cầu.
Mức độ trưởng thành (GPT-4 trở lên)
Ra mắt năm 2023, GPT-4 là một hệ thống đa phương thức. Nó có thể phân tích hình ảnh, giải quyết các bài toán phức tạp và thể hiện khả năng sáng tạo ở mức độ cao hơn nhiều. Độ chính xác của nó đã được tinh chỉnh để giảm thiểu "ảo giác" (những khoảnh khắc mà AI tự tin bịa đặt ra các sự thật).
Liên quan: ChatGPT-5 không giới hạn và miễn phí trên Free AI Online
III. Cơ chế hoạt động bên trong: Một cỗ máy xác suất
Trái với quan niệm phổ biến, GPT không có "suy nghĩ" hay ý kiến. Cách thức hoạt động của nó hoàn toàn dựa trên thống kê, nhưng ở quy mô khổng lồ đến mức mô phỏng trí thông minh.
Khi người dùng nhập truy vấn, mô hình sẽ chuyển đổi mỗi từ thành một chuỗi các số được gọi là embedding (hoặc vector hóa). Những số này cho phép các từ được đặt trong một không gian toán học với hàng nghìn chiều. Trong không gian này, từ “King” (Vua) về mặt toán học rất gần với “Queen” (Nữ hoàng) hoặc “Crown” (Vương miện).
Quá trình phản hồi là một chuỗi các dự đoán:
- Mô hình này phân tích nhanh chóng.
- Nó tính toán từ nào (hoặc “mã thông báo“) có xác suất bắt đầu phản hồi cao nhất.
- Sau khi từ đó được chọn, hệ thống sẽ đưa thông tin đó trở lại vào thuật toán phân tích để dự đoán từ tiếp theo.
- Quá trình này được lặp lại cho đến khi đạt đến điểm kết thúc.
Điều làm cho kết quả trở nên ấn tượng là GPT không phải lúc nào cũng chọn từ có khả năng xuất hiện cao nhất (điều này sẽ khiến nó lặp đi lặp lại và nhàm chán), mà sử dụng thiết lập "nhiệt độ" (sự ngẫu nhiên được kiểm soát) để thay đổi phong cách và tính sáng tạo của nó.
IV. Bước quan trọng: Sự đồng bộ của con người (RLHF)
Nếu bạn chỉ đơn thuần đưa toàn bộ internet cho một cỗ máy đọc, nó có nguy cơ trở nên hung hăng hoặc đưa ra những lời khuyên nguy hiểm, vì internet chứa đựng cả những điều tốt đẹp nhất và tồi tệ nhất của nhân loại.
Để làm cho GPT trở nên "thân thiện" hơn, OpenAI sử dụng Học tăng cường từ phản hồi của con người (RLHF). Hàng nghìn người thử nghiệm đã tương tác với các phiên bản đầu tiên của mô hình, đánh giá các phản hồi: "Đây là một câu trả lời hay", "Đây là một câu trả lời thô lỗ", "Đây là một câu trả lời sai".
Thông qua quá trình này, trí tuệ nhân tạo đã học cách thể hiện vai trò của một trợ lý hữu ích, trung lập và tuân thủ đạo đức. Lớp cuối cùng này biến công nghệ thô thành một sản phẩm dành cho thị trường đại chúng.
V. Thách thức và hạn chế
Mặc dù mạnh mẽ, GPT vẫn là một công cụ có những điểm yếu:
- Ảo giácVì mục đích hướng đến sự đáng tin cậy về mặt thống kê, nó có thể bịa đặt một tiểu sử hoặc một nguồn luật không tồn tại, chỉ đơn giản vì các từ ngữ "nghe có vẻ" đúng khi ghép lại với nhau.
- thiếu ý thứcGPT không cảm nhận được gì. Nó không hiểu biết gì về thế giới vật chất. Nếu nó giải thích cách làm món trứng tráng, nó không biết nhiệt độ hay mùi của trứng là gì; nó chỉ biết mối quan hệ ngôn ngữ giữa các khái niệm đó.
- Chi phí môi trườngViệc huấn luyện và vận hành các mô hình này đòi hỏi lượng điện và nước đáng kể (để làm mát máy chủ).
Kết luận
GPT không chỉ đơn thuần là phần mềm xử lý văn bản. Nó là một cơ sở hạ tầng nhận thức. Giống như điện năng đã cho phép cơ giới hóa lao động chân tay, GPT đang bắt đầu tự động hóa một số hình thức lao động trí óc.
Hiểu rằng GPT là viết tắt của Generative (sáng tạo), Pre-trained (kiến thức khổng lồ) và Transformer (hiểu theo ngữ cảnh), chúng ta có thể đánh giá cao hơn lý do tại sao công nghệ này đánh dấu một bước ngoặt. Chúng ta mới chỉ ở giai đoạn đầu khám phá những gì các mô hình ngày càng gọn nhẹ và thông minh này sẽ mang lại cho khoa học, giáo dục và sáng tạo nghệ thuật.
