隨著大模型掀起新一輪 AI 熱潮，人們開始思考：大模型的強大能力來源于什么？

當(dāng)前，大模型一直在由不斷增加的「大數(shù)據(jù)」來推動。「大模型 + 大數(shù)據(jù)」似乎已經(jīng)成為構(gòu)建模型的標(biāo)準(zhǔn)范式。但隨著模型規(guī)模和數(shù)據(jù)量的不斷增長，算力的需求會迅速膨脹。一些研究者嘗試探索新思路。

6 月，微軟發(fā)布了一篇題為《Textbooks Are All You Need》的論文，用規(guī)模僅為 7B token 的「教科書質(zhì)量」數(shù)據(jù)訓(xùn)練了一個 1.3B 參數(shù)的模型 ——phi-1。盡管在數(shù)據(jù)集和模型大小方面比競品模型小幾個數(shù)量級，但 phi-1 在 HumanEval 的 pass@1 上達到了 50.6% 的準(zhǔn)確率，在 MBPP 上達到了 55.5%。

phi-1 證明高質(zhì)量的「小數(shù)據(jù)」能夠讓模型具備良好的性能。最近，微軟又發(fā)表了論文《Textbooks Are All You Need II: phi-1.5 technical report》，對高質(zhì)量「小數(shù)據(jù)」的潛力做了進一步研究。

論文地址：https://arxiv.org/abs/2309.05463

模型簡介

架構(gòu)

研究團隊使用 phi-1 的研究方法，并將研究重點放在自然語言常識推理任務(wù)上，創(chuàng)建了擁有 1.3B 參數(shù)的 Transformer 架構(gòu)語言模型 phi-1.5。phi-1.5 的架構(gòu)與 phi-1 完全相同，有 24 層，32 個頭，每個頭的維度為 64，并使用旋轉(zhuǎn)維度為 32 的旋轉(zhuǎn)嵌入，上下文長度為 2048。

此外，該研究還使用 flash-attention 進行訓(xùn)練加速，并使用 codegen-mono 的 tokenizer。

訓(xùn)練數(shù)據(jù)

phi-1.5 的訓(xùn)練數(shù)據(jù)是由 phi-1 的訓(xùn)練數(shù)據(jù)（7B token）和新創(chuàng)建的「教科書質(zhì)量」數(shù)據(jù)（大約 20B token）組成的。其中，新創(chuàng)建的「教科書質(zhì)量」數(shù)據(jù)旨在讓模型掌握常識推理，研究團隊精心挑選了 20K 個主題來生成新數(shù)據(jù)。

值得注意的是，為了探討網(wǎng)絡(luò)數(shù)據(jù)（LLM 常用）的重要性，該研究還構(gòu)建了 phi-1.5-web-only 和 phi-1.5-web 兩個模型。

研究團隊表示：創(chuàng)建強大且全面的數(shù)據(jù)集需要的不僅是原始計算能力，還需要復(fù)雜的迭代、有效的主題選擇，以及對知識的深入了解，具備這些要素，才能確保數(shù)據(jù)的質(zhì)量和多樣性。

實驗結(jié)果

對于語言理解任務(wù)，該研究在多個數(shù)據(jù)集（包括 PIQA、Hellaswag、OpenbookQA、SQUAD 和 MMLU）上評估了一些模型。評估結(jié)果如下表 3 所示，phi-1.5 的性能可以媲美 5 倍大的模型：

在常識推理基準(zhǔn)上的測試結(jié)果如下表所示：

在更復(fù)雜的推理任務(wù)（例如小學(xué)數(shù)學(xué)和基礎(chǔ)編碼任務(wù)）上 phi-1.5 還超越了大多數(shù) LLM：

研究團隊認(rèn)為，phi-1.5 再次證明了高質(zhì)量「小數(shù)據(jù)」的力量。

質(zhì)疑與討論

或許是因為「大模型 + 大數(shù)據(jù)」的理念太深入人心，這項研究遭到了機器學(xué)習(xí)社區(qū)一些研究人員的質(zhì)疑，甚至有人懷疑 phi-1.5 直接在測試基準(zhǔn)數(shù)據(jù)集上訓(xùn)練了。

網(wǎng)友 Susan Zhang 進行了一系列驗證，并指出：「phi-1.5 能夠?qū)?GSM8K 數(shù)據(jù)集中的原問題給出完全正確的回答，但只要稍微修改一下格式（例如換行），phi-1.5 就不會回答了?！?/p>

還有修改問題中的數(shù)據(jù)，phi-1.5 在解答問題的過程中就會出現(xiàn)「幻覺」。例如，在一個點餐問題中，只修改了「披薩的價格」，phi-1.5 的解答就出現(xiàn)了錯誤。

并且，phi-1.5 似乎「記住了」最終答案，即使在修改數(shù)據(jù)的情況下該答案已經(jīng)是錯誤的。

對此，論文作者之一 Ronen Eldan 很快給出了回應(yīng)，針對上述網(wǎng)友測試出現(xiàn)的問題給出解釋和反駁：

但該網(wǎng)友再次闡明其觀點：測試說明 phi-1.5 的回答對 prompt 的格式是非?！复嗳酢沟模ψ髡叩幕貞?yīng)提出質(zhì)疑：

論文第一作者 Yuanzhi Li 回應(yīng)道：「由于沒有進行任何指令微調(diào)和對齊工作，phi-1.5 在穩(wěn)健性上的確不如 GPT-4。但『脆弱』并不是正確的術(shù)語，事實上，對于任何模型，pass@k 準(zhǔn)確率都會比 pass@1 高得多（所以模型正確就是偶然的）。」

看到這些質(zhì)疑與討論，網(wǎng)友們直呼：「最簡單的回應(yīng)方式就是直接公開合成數(shù)據(jù)集?！?/p>