探秘爆火的ChatGPT：大語言模型是個啥？它到底咋工作的？

本篇目錄

繼AI繪畫後，ChatGPT橫空出世。聊天、翻譯、文案、代碼……ChatGPT的功能如此強大，以至于連馬斯克都認爲“我們離強大到危險的AI不遠了。”

在感慨ChatGPT如此強大的同時，人們也開始對ChatGPT的工作原理産生了好奇：ChatGPT是什麽？它到底是如何運行的？怎樣才能絲滑地與它對話呢？

想要了解ChatGPT是什麽，需要關注它背後的GPT模型。GPT模型是一个由OpenAI 训练的大语言模型。

一、大語言模型是什麽？

大语言模型（Large Language Model）是指在海量文本数据上训练，通过无监督、半监督或自监督的方式，学习并掌握通用的语言知识和能力的深度神经网络模型。

從下圖中，我們不難看出，這些大語言模型的參數計數都是數千億：

換個容易理解的說法，“讀書破萬卷，下筆如有神”在一定意義上反映了大語言模型的運作模式。在海量文本數據上訓練是讀了萬億書籍，吸收了大量的知識，在此基礎上就可以按照用戶的需求進行回答、創作、總結與分析。

大語言模型在經過特定訓練後可以爲企業帶來意想不到的可能性：

1、減少人工勞動和成本	大语言模型能够让企业在发展过程中实现自动化，如顾客服務、内容创作、欺诈检测等，这不仅能够降低人力与时间成本，还能将员工从高重复度的工作中解放出来，从事更需要人类专业知识的重要工作。
2、提高客戶滿意度	基于大语言模型的聊天机器人不仅能够为客户提供全天候的服務，还能通过处理大量的数据来了解客户的行为和偏好，从而提供个性化服務。
3、提供決策的准確性	大語言模型對大量數據的處理，能夠讓企業迅速從複雜的數據集中提取需求，從而提高運營效率，更快地解決問題，並做出更准確的商業決策。
4、提高任務的准確性	大型語言模型能夠處理大量的數據，这导致预测和分类任務的准確性提高。这些模型利用这些信息来学习模式和关系，这有助于它们做出更好的预测和分组。

但我們不得不承認大語言模型同樣存在著一些弊端：

1、認知範圍有限	大語言模型的能力受限于它們的文本訓練數據，這意味著它們無法理解訓練數據以外的文本，如調休。它極有可能接觸到虛假信息、種族、性別和性的偏見等文本訓練，這會導致大語言模型産出種族主義或性別歧視的評論。
2、輸入token有限	每個大語言模型的內存是有限的，所以它只能接受一定數量的token作爲輸入。例如，ChatGPT的限制是4096個（大約3000個詞），如果超過這個限定，GPT就無法對輸入作出反應。
3、系統成本高	大型語言模型的開發和訓練都需要大量投資，包括計算機系統、人力資本和電力。據估計，ChatGPT10輪的訓練，僅電費成本就高達1200萬人民幣，這並不是隨便一個企業能夠承擔得起的。
4、泛化能力弱	泛化能力指機器學習算法對新鮮樣本的適應能力。學習的目的是學到隱含在數據背後的規律，對具有同一規律的學習集以外的數據，經過訓練的網絡也能給出合適的輸出。大語言模型雖然可以在多個任務上表現出色，但是它們也容易受到輸入的影響而輸出不合理或者錯誤的內容。

在了解了大語言模型後，我們距GPT的工作原理又進了一步。

二、GPT背後的應用邏輯

GPT的全称是“Generative pre-trained transformer”，翻译一下就是“基于Transformer的生成式预训练模型” 。讓我們把這些詞拆分來看：

1）“Generative”

“Generative”指這個模型具備生成自然語言文本的功能。也就是說，這個模型能夠生成一段內容，還能讓你看懂。比如給它幾個關鍵詞，能夠通過這些關鍵詞自動生成一段話或者一篇文章。

当然，可能有人会说“之前那个狗屁不通生成器也能读，那他们的区别在哪里？”实际上，“狗屁不通（GPBT）”只是一个文本生成器，对文本的连贯性和含义要求并不高；而GPT生成的内容则有着高连贯性和可读性的要求。所以大家会发现，先不说GPT生成的内容能不能解决实际问题，至少读起来是合情合理的。

2）“pre-trained”

“pre-trained”意爲“預先訓練好的”。一般來講，在應用這種技術時，會需要先將大量的文本數據輸入到模型中訓練，讓模型在一定程度上掌握了語言的語法規則和表達方式，這個提前輸入進行訓練的過程就被稱爲預訓練。

我們也可以將上述過程簡單粗暴地理解爲“題海戰術”。想想我們在各類學習中，經常通過題海戰術對題目類型、考察的基礎知識以及邏輯進行深入了解，才能在面對新的題型時，通過調用自己所學的知識交出相對合理的答卷。同樣，GPT也是在這種“題海戰術”中殺出重圍的。

3）“transformer”

最后说到“transformer”，这是Google 的研究者在《Attention Is All You Need》中提出的概念，我们可以先将它简单理解为“转换器”。Transformer的基本原理是Encoder（編碼）和Decoder（解碼），也就是先將輸入的內容轉換爲計算機能理解的內容，再將計算機理解的內容轉換爲我們人類能理解的內容。

但在语言转化的过程中，还会出现一个问题：歧义。我们生活中也会有很多出现歧义的情况，比如“我买了一斤苹果”和“我买了个苹果新産品”。那么问题来了：大家怎么判断这两句中的苹果指的是某种水果还是某个电子设备？

答案估计也没啥争议：结合苹果旁边的“一斤”和“新産品”就能确定在不同上下文中的“苹果”代表了什么含义。而GPT能够理解我们输入的内容，关键也在于此。Transformer在编码和解码的基础上，引入了“Multi-headed Attention（多头注意力）”的概念。多头注意力就是为了让模型在处理输入输出的内容时，更关注内容中的某个或某几个词语，并对它们进行加权处理，从而推断其准确含义，实现上下文学习。

用一句話總結上面講的內容，就是“GPT能讀懂你說的話了”。

既然懂了提問的內容，那接下來GPT又是怎樣回答出你想要的答案的呢？

前面我們講了GPT是“預先訓練好的”，所以當它理解了你想要什麽之後，便會自動選擇當下最適合的一個內容，然後不停地再輸入、輸出，最終生成一段完整、具有高匹配度的內容。

例子：请给我描述一个西瓜
第一次输入：请给我描述一个西瓜
输出：西瓜
第二次输入：请给我描述一个西瓜：西瓜
输出：西瓜是
第三次输入：请给我描述一个西瓜：西瓜是
输出：西瓜是一种
……
第N次输入：……
输出：……

最終呈現以下內容：

GPT就是通过这种不断地“输入-匹配-选择-输出-再输入”的过程，和我们进行問答的交互。而被我们熟知的 ChatGPT则是基于GPT模型调整而成的对话生成模型，在本质上，其工作原理和GPT是相同的。

三、如何讓ChatGPT不說廢話？

那麽，理解了ChatGPT及GPT模型的運行方式，它就能真正爲我們所用嗎？答案顯示是否定的。很多人會抱怨，它的回答很空泛，有時甚至會出錯。

當然，人工智能可以理解人類的語言，但可能還不能精准理解人類的目的，所以成功的人機交互才會得到我們想要的答案，也就是說GPT這類模型就像我們的寵物一樣，能夠聽懂我們說的話，但前提是我們需要跟它“好好說話”。

來看一個例子：請介紹一下華山。（PS：本文所有問答，均来自禅道的OpenAI插件：神奇小海螺）

ChatGPT-导游词

從上面兩個圖片中可以發現，我們的提示詞不同，小海螺給出的回答也不同。那我們應該如何提問？這裏引用常青老師總結而成的一個提示詞模板（親測非常有效）：

（指路公衆號：常青說）

通過這個技巧，我們現在可以改一下上面的提示詞：

“假如你是一名導遊，現在你要帶一個10人的旅遊團前往華山，請給一份華山的講解詞。請注意，因爲旅遊團中有小朋友，所以講解詞請用生動有趣的內容組織，最好還能加一些故事和例子。”

很明顯，這樣一問，小海螺就能給出比較符合我們要求的回答。如果還想讓它的回答更精准，那就需要繼續再補充其他的細節啦。

總之，我們期待著人類對自然語言的處理技術達到一定程度時，這些人工智能的回複質量能帶給我們更大的驚喜；在另一方面，對于它們的回答，我們也要有基礎的辨別能力。

羅翔老師曾說：“人跟人工智能最大的不同，在于人除了有理性還有感情。我們永遠不用擔心它會取代我們，因爲我們是人，是萬物之靈。”所以，我們不僅要把ChatGPT一類的人工智能應用到極致，充分去擁抱它，還要訓練自己作爲人類原生的、不依賴任何工具的基礎能力、思維能力以及創新能力。