尽管这些模型在生类水平的文本方面表现出色，但当处理简单的数学问题时，即使问题仅进行了微小的改动，如添加无关信息，模型的表现也会急剧下降。
他们提出了一个关于采摘猕猴桃的问题：奥利弗在周五挑选了 44 个猕猴桃，然后他在周六挑选 58 个猕猴桃，周日，他采摘的猕猴桃数量是周五的两倍。奥利弗有多少个猕猴桃？
研究人员进一步对数百个类似的问题进行了修改，发现几乎所有问题的修改都导致了LLM回答成功率的大幅降低。
当需要进行真正的逻辑推理时，这些模型往往无法产生合理的结果，这一发现对人工智能的发展提供了重要的参考。