OpenAI 訓(xùn)練 CriticGPT 模型以檢索輸出內(nèi)容錯(cuò)誤 專給 ChatGPT“找茬”
2024-06-28 10:18:51 |
唐薇 |
472
6月28日，OpenAI 宣布基于 GPT-4 訓(xùn)練了一個(gè)名為 CriticGPT 的模型，用于查找 ChatGPT 聊天機(jī)器人輸出內(nèi)容中的錯(cuò)誤。它可以撰寫評論，強(qiáng)調(diào) ChatGPT 生成答案中不準(zhǔn)確的地方。
據(jù)介紹，CriticGPT 旨在協(xié)助人類 AI 訓(xùn)練員完成工作 —— 使用一種名為“從人類反饋中強(qiáng)化學(xué)習(xí)（IT之家注：Reinforcement Learning from Human Feedback，RLHF）”的技術(shù)來訓(xùn)練、改進(jìn) GPT-4 的回答。
然而隨著 ChatGPT 的準(zhǔn)確性日益提升，錯(cuò)誤越來越隱蔽，導(dǎo)致 AI 訓(xùn)練員的工作越來越“難做”。OpenAI 對此解釋稱，這是 RLHF 的基本局限之一 —— 模型逐漸變得比任何可以提供反饋的人都更博學(xué)，模型的協(xié)調(diào)可能也會(huì)隨之變得越來越困難。
目前，當(dāng) CriticGPT 試圖從 ChatGPT 的回答中發(fā)現(xiàn)錯(cuò)誤時(shí)，它的一雙“鷹眼”就會(huì)發(fā)揮作用。OpenAI 指出，現(xiàn)實(shí)世界中的錯(cuò)誤可能遍布答案的多個(gè)部分，這是 CriticGPT 未來需要解決的問題�！拔覀兊墓ぷ髦攸c(diǎn)是可以在一個(gè)地方指出錯(cuò)誤，但將來我們也需要解決分散的錯(cuò)誤�！�
特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字、圖片等內(nèi)容的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時(shí)發(fā)送相關(guān)信息至bireading@163.com，本站將會(huì)在48小時(shí)內(nèi)處理完畢。
