隨著ChatGPT、Midjourney等大模型產(chǎn)品的影響力、應(yīng)用場(chǎng)景越來(lái)越多，為了確保輸出的內(nèi)容安全、可靠，對(duì)齊成為開(kāi)發(fā)人員的關(guān)注重點(diǎn)和難點(diǎn)。

　　但現(xiàn)在的模型參數(shù)少則幾百億多則上千億，想通過(guò)傳統(tǒng)的監(jiān)督式微調(diào)方法來(lái)完成對(duì)齊效果往往不理想。

　　因此，英偉達(dá)的研究人員開(kāi)源了安全對(duì)齊框架NeMo-Aligner。這是一個(gè)包括人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)(RLHF)、直接偏好優(yōu)化(DPO)、SteerLM和自我對(duì)弈微調(diào)等技術(shù)合集，可幫助開(kāi)發(fā)人員極大提升模型的安全性能和穩(wěn)定輸出。

　　下面為大家介紹兩個(gè)效果比較好、常用的NeMo-Aligner對(duì)齊方法。

　　RLHF

　　RLHF是NeMo-Aligner框架的核心模塊之一，主要通過(guò)人類反饋來(lái)引導(dǎo)大模型學(xué)習(xí)，使其輸出更符合人類的價(jià)值觀和偏好，同時(shí)采用了近端策略算法(PPO)來(lái)優(yōu)化語(yǔ)言模型的行為。

　　訓(xùn)練過(guò)程主要分為三個(gè)階段:初始階段，從預(yù)訓(xùn)練的基礎(chǔ)模型開(kāi)始，進(jìn)行監(jiān)督微調(diào)。在監(jiān)督微調(diào)中，使用輸入提示和期望的回復(fù)對(duì)基礎(chǔ)模型的參數(shù)進(jìn)行更新，使其盡可能地模仿期望的回復(fù)。這一階段是為了確保基礎(chǔ)模型能夠生成符合用戶指令的回復(fù)。

　　獎(jiǎng)勵(lì)模型訓(xùn)練階段，使用一組設(shè)定好的人類偏好數(shù)據(jù)，例如，問(wèn)答的特定輸出格式，來(lái)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型，以最大化預(yù)測(cè)獎(jiǎng)勵(lì)與人類偏好一致的可能性。通常，會(huì)在監(jiān)督微調(diào)的模型之上初始化一個(gè)線性獎(jiǎng)勵(lì)模型頭部，并在其上進(jìn)行訓(xùn)練。

　　策略優(yōu)化訓(xùn)練，基于訓(xùn)練好的獎(jiǎng)勵(lì)模型，通過(guò)PPO進(jìn)行優(yōu)化訓(xùn)練。在訓(xùn)練過(guò)程中，使用基于KL散度的正則化項(xiàng)，防止策略偏離起始點(diǎn)太遠(yuǎn)并利用獎(jiǎng)勵(lì)模型的盲點(diǎn)。

　　SteerLM

　　SteerLM主要通過(guò)引導(dǎo)大模型的生成流程來(lái)實(shí)現(xiàn)安全對(duì)齊，使用了一種“引導(dǎo)信號(hào)”的指導(dǎo)策略。可將開(kāi)發(fā)者希望的輸出模式注入到模型的訓(xùn)練中，以引導(dǎo)模型生成更符合預(yù)期的響應(yīng)。

　　首先，需要準(zhǔn)備一個(gè)包含輸入提示和期望輸出的數(shù)據(jù)集對(duì)。這些輸入提示可以是用戶提供的指令或問(wèn)題，而期望輸出是模型生成的響應(yīng)。

　　根據(jù)輸入提示和期望輸出，生成引導(dǎo)信號(hào)。引導(dǎo)信號(hào)可以采用不同的方式生成，例如，使用規(guī)則、基于規(guī)則的策略或者其他的啟發(fā)式方法，可以控制生成文本的風(fēng)格、主題、情感等內(nèi)容。

　　例如，在多輪AI對(duì)話中，可以指導(dǎo)模型生成符合用戶期望的回答;在文本摘要任務(wù)中，可以指導(dǎo)模型生成更加準(zhǔn)確和有信息量的摘要內(nèi)容;在機(jī)器翻譯任務(wù)中，可以使模型生成更加準(zhǔn)確和流暢的翻譯結(jié)果。