【看法】LLM还是很难准确回答问题
本帖最后由 白冥 于 2024-6-25 14:14 编辑现在的大语言模型（LLM）还是很难准确地回答问题。
比如将“向Java的可变数组插入新元素时容量不足，可变数组是不是通过虚拟机JVM向操作系统请求‘可以容纳原数组长度的1.5倍及以上的新数组的内存块’”误解释成“向Java的可变数组插入新元素时容量不足，可变数组是不是通过虚拟机JVM向操作系统请求‘恰好为原数组长度的1.5倍及以上的新数组大小的内存块’”。
事实上这不是LLM第一次出现答非所问的情况了，无论是哪种LLM，都会出现这种情况。
举个例子，当你询问“C语言中，是不是‘任何’函数‘都可以’调用自身”时，文心一言和ChatGPT都会回答“C语言不是任何的函数‘都适合’或‘都需要’调用自身”。
对于LLM来说，你问的问题无非就是单词串，它们所回答的也无非是单词串，它们的回答可能符合语法，但不一定符合语义。“都可以”与“都需要”或“都适合”是不一样的，前者代表一种权利，后者代表一种限制。
就像你问“每个人都可以有8小时的娱乐时间吗”，结果有人回答“不是每个人都需要有8小时的娱乐时间”，令人感到十分别扭。
很多时候，LLM大部分回复仅仅只是追求最多关键字匹配，收刮自己的语料库或者网络爬取文章，打印出它们算法所判定为“最匹配问题的”回答，并没有理解文本的能力。
LLM还有一种问题也经常出现，即逻辑推导的功能缺陷。
假设你询问文心一言或ChatGPT“在Java中，所有的类都直接或间接地继承自Object类吗”，它们一定会给出肯定的回答。但是如果你询问“在Java中，Object类是直接或间接地继承自Object类的吗”，这时候必定会给出否定且批评的回答。
对于每一个合格的Java学习者来说，“Java中，一个类不能继承自不存在的类”与“Java中，一个类在完整声明之前是不存在的”是常识，很自然就可以推得“Java中，一个类不能继承它自己”，那么很自然，“Java中，Object类当然不能直接或间接继承Object类”，所以“Java中，并非所有的类都直接或间接地继承自Object类”。
显然，第一个问题，LLM答错了。而第二个问题，反映出LLM明显具有“惰性思考”缺陷，实际上也是一种简单的对于关键字的检索和匹配，没有真正的思考，否则第一个问题不可能答错。
与人在处理问题时的操作不同，LLM在处理问题时有对知识储备和关联思考的能力的缺陷。面对未知问题时，人会尝试根据已有知识进行推理和思考，而不仅仅是选择最匹配的回答。LLM更多地是依赖于关键词的检索和匹配，而非真正的思考，只是一种假装思考的照抄。
在语言处理方面，LLM也有很大的问题。幻觉输出，是LLM的一种“无中生有”的回答，这种问题经常发生在要求LLM分析文艺作品时。它们并没有理解文艺作品的能力，于是通过抓取问题的关键词，直接堆砌某些作品鉴赏的语句，给出一篇不伦不类的“分析”内容。
目前LLM模型回答问题的准确性不高,只会一些基础问题,在下只用来玩角色扮演:lol LLM确实目前感觉还是不够智能惹{:6_169:} 这些ai回答问题的时候确实经常会有种一本正经的胡说八道的感觉 chat4.0一样，问一下审计问题就给我在那里扯犊子，20刀就这？，不过用来进行数据总结还不错 https://cdn.sa.net/2024/06/25/VNZbsogPJ7Tm2Lp.webp
GLM-4 turbo
应该是国产模型里面比较强的了
试了一下楼主说的，没遇到这个问题
看来AI还有很多进步空间呢，稍微复杂一些的问题就不行了 现在的很多模型需要设计好提问语句才能得到比较想要的结果，感觉有点像AI训练了我们 只能说AI处理一些东西还是十分有限吧。 初学者表示AI能解决很多基础问题（比如报错和网页代码
应付工作已经够用了】 {:4_111:}AI成精的道路上你们都是罪魁祸首（bushi 还是比较看好AI的发展的;PAI会举一反三 我遇到的绝大多数问题都可以得到答案 如果只是给大模型问点技术类的问题，他答的其实还是不错的。 确实，LLM回答问题时有时难以准确把握。 难道是被训练歪了？ 调教gpt写代码的时候总是要把需求描述的相当清楚，包括报错代码的提供给他，多次反复才能写出来想要的东西。 尝试用英语呢？我发现英文的准确度会高一点，不知道是模型训练的翻译问题？ 只用AI来自学一些东西那简直就是自杀，我用高数问题测试过 AI还是要进行很大的训练，成为一个成熟的AI还是要一段时间的{:6_169:} 现在的AI基本只能回答一些简单的问题吧？更深入的还是不要问AI比较好，我倒是更希望尽快把AI记忆量提上去
页:
[1]
2