【看法】LLM还是很难准确回答问题

白冥 · 发表于 2024-6-25 09:25:06

本帖最后由白冥于 2024-6-25 14:14 编辑

　　现在的大语言模型（LLM）还是很难准确地回答问题。

　　比如将“向Java的可变数组插入新元素时容量不足，可变数组是不是通过虚拟机JVM向操作系统请求‘可以容纳原数组长度的1.5倍及以上的新数组的内存块’”误解释成“向Java的可变数组插入新元素时容量不足，可变数组是不是通过虚拟机JVM向操作系统请求‘恰好为原数组长度的1.5倍及以上的新数组大小的内存块’”。
　　事实上这不是LLM第一次出现答非所问的情况了，无论是哪种LLM，都会出现这种情况。
　　举个例子，当你询问“C语言中，是不是‘任何’函数‘都可以’调用自身”时，文心一言和ChatGPT都会回答“C语言不是任何的函数‘都适合’或‘都需要’调用自身”。
　　对于LLM来说，你问的问题无非就是单词串，它们所回答的也无非是单词串，它们的回答可能符合语法，但不一定符合语义。“都可以”与“都需要”或“都适合”是不一样的，前者代表一种权利，后者代表一种限制。
　　就像你问“每个人都可以有8小时的娱乐时间吗”，结果有人回答“不是每个人都需要有8小时的娱乐时间”，令人感到十分别扭。
　　很多时候，LLM大部分回复仅仅只是追求最多关键字匹配，收刮自己的语料库或者网络爬取文章，打印出它们算法所判定为“最匹配问题的”回答，并没有理解文本的能力。
　　LLM还有一种问题也经常出现，即逻辑推导的功能缺陷。
　　假设你询问文心一言或ChatGPT“在Java中，所有的类都直接或间接地继承自Object类吗”，它们一定会给出肯定的回答。但是如果你询问“在Java中，Object类是直接或间接地继承自Object类的吗”，这时候必定会给出否定且批评的回答。
　　对于每一个合格的Java学习者来说，“Java中，一个类不能继承自不存在的类”与“Java中，一个类在完整声明之前是不存在的”是常识，很自然就可以推得“Java中，一个类不能继承它自己”，那么很自然，“Java中，Object类当然不能直接或间接继承Object类”，所以“Java中，并非所有的类都直接或间接地继承自Object类”。
　　显然，第一个问题，LLM答错了。而第二个问题，反映出LLM明显具有“惰性思考”缺陷，实际上也是一种简单的对于关键字的检索和匹配，没有真正的思考，否则第一个问题不可能答错。
　　与人在处理问题时的操作不同，LLM在处理问题时有对知识储备和关联思考的能力的缺陷。面对未知问题时，人会尝试根据已有知识进行推理和思考，而不仅仅是选择最匹配的回答。LLM更多地是依赖于关键词的检索和匹配，而非真正的思考，只是一种假装思考的照抄。
　　在语言处理方面，LLM也有很大的问题。幻觉输出，是LLM的一种“无中生有”的回答，这种问题经常发生在要求LLM分析文艺作品时。它们并没有理解文艺作品的能力，于是通过抓取问题的关键词，直接堆砌某些作品鉴赏的语句，给出一篇不伦不类的“分析”内容。