OpenAI是一家人工智能研究和部署公司，使命是確保人工通用智能造福全人類。OpenAI的使命是確保人工通用智能（AGI）——指的是在具有經(jīng)濟價值的工作中超越人類的高度自治系統(tǒng)——造福全人類。OpenAI將試圖直接建設安全和有益的AGI，但如果工作幫助他人實現(xiàn)這一結(jié)果，OpenAI也將認為我們的使命已經(jīng)完成。OpenAI已經(jīng)訓練了一個名為ChatGPT的模型，它以對話的方式進行交互。對話形式使ChatGPT能夠回答后續(xù)問題，承認錯誤，質(zhì)疑不正確的前提，并拒絕不適當?shù)恼埱蟆hatGPT是說明書，它被訓練成遵循提示中的指令并提供詳細的響應。

ChatGPT有時會寫出聽起來合理但不正確或無意義的答案。解決這個問題是具有挑戰(zhàn)性的，因為：（1）在RL訓練期間，目前沒有真實的來源；（2）訓練模型更加謹慎導致它拒絕它能夠正確回答的問題；以及（3）監(jiān)督訓練誤導模型，因為理想答案取決于模型知道什么，而不是人類示威者所知道的。

ChatGPT對輸入措辭的調(diào)整或多次嘗試相同的提示很敏感。例如，給定一個問題的一種措辭，模型可以聲稱不知道答案，但給定一個輕微的措辭，可以正確地回答。理想情況下，當用戶提供一個模糊的查詢時，模型會問一些澄清性的問題。相反，我們當前的模型通常猜測用戶的意圖。

今天ChatGPT的研究發(fā)布是OpenAI的新一步迭代部署越來越安全和有用的人工智能系統(tǒng)。從早期模型的部署中吸取的許多經(jīng)驗教訓為此次發(fā)布的安全緩解措施提供了信息，包括通過使用人類反饋強化學習實現(xiàn)的有害和不真實輸出的大幅減少。