@世界的参数倒影：为何GPT通过Next Token Prediction可以产生智能

链接： 世界的参数倒影：为何GPT通过Next Token Prediction可以产生智能 - 知乎

如果我们把“[[The Octopus Test]]”里的章鱼换成ChatGPT或GPT 4，您会怎么看这个问题呢？也就是说，下述两种观点，您支持哪一种呢？

• 一种观点与“章鱼测试”看法类似，认为GPT 4这种LLM模型仅仅学会了语言中的单词共现等浅层的表面统计关系，其实并未具备智能，只是类似鹦鹉学舌的语言片段缝合怪而已；#card
  • 比如不认为大语言模型具备智能的反方知名代表人物，AI圈子里的大佬代表是LeCun，语言学界代表人物是乔姆斯基，
  • 都否认通过Next Token Prediction这种方式训练出来的大语言模型能够具备智能；
• 另外一种观点则认为：GPT 4不仅学会了语言元素间的表面统计关系，而且学到了人类语言甚至包括物理世界的内在运行规律，文字是由内在智能产生的，所以LLM具备类人智能。#card
  • OpenAI不说了，毫无疑问是最具影响力的正方代表，从目前的公开言论看，Hinton老爷子很明显也持正方观点，而且特别正方，不仅认为GPT 4具备类人智能，
  • 而且觉得将来人类这种碳基智能很可能是LLM这种硅基智能的引导启动程序(Booster)，在这点上Hinton和马斯克的看法是类似的。

[[@天平的两端：压缩即智能]] 如果大语言模型具备越强的数据压缩能力，是否意味着它具备越强的AGI智能呢？

• Jack Rae [[Stanford MLSys Seminar]] Compression for AGI

拼图游戏：目前已知的一些事实碎片

• [[@GPT模型对知识的提取过程]]
• [[@知识点在Transformer中的分布]]
• [[@GPT中知识回路存在的证据]]
• [[@不同规模LLM模型在学习知识点方面的差异]]

[[@冰山之下：回路竞争猜想（Circuit Competition Conjecture, CCC）]]