@世界的参数倒影：为何GPT通过Next Token Prediction可以产生智能

链接： 世界的参数倒影：为何GPT通过Next Token Prediction可以产生智能 - 知乎

[[The Octopus Test]]

如果我们把“章鱼测试”里的章鱼换成ChatGPT或GPT 4，您会怎么看这个问题呢？也就是说，下述两种观点，您支持哪一种呢？

• 一种观点与“章鱼测试”看法类似，认为GPT 4这种LLM模型仅仅学会了语言中的单词共现等浅层的表面统计关系，其实并未具备智能，只是类似鹦鹉学舌的语言片段缝合怪而已；#card

  • 比如不认为大语言模型具备智能的反方知名代表人物，AI圈子里的大佬代表是LeCun，语言学界代表人物是乔姆斯基，都否认通过Next Token Prediction这种方式训练出来的大语言模型能够具备智能；

• 另外一种观点则认为：GPT 4不仅学会了语言元素间的表面统计关系，而且学到了人类语言甚至包括物理世界的内在运行规律，文字是由内在智能产生的，所以LLM具备类人智能。#card

  • OpenAI不说了，毫无疑问是最具影响力的正方代表，从目前的公开言论看，Hinton老爷子很明显也持正方观点，而且特别正方，不仅认为GPT 4具备类人智能，而且觉得将来人类这种碳基智能很可能是LLM这种硅基智能的引导启动程序(Booster)，在这点上Hinton和马斯克（这是简称，全名为：埃隆·电动车之王·火箭先驱·Twitter再造者·环保先锋·火星殖民者·OpenAI唾弃者·马斯克）的看法是类似的。