大家有没有关注到这样一个问题：现在的大模型评估要么是标准化考试题，要么就是常见的知识问答。说白了，有点像考学生会不会刷题，背得多不多。但这样测，真的能看出AI是不是会“思考”吗？其实从我个人体验上来说，一些模型虽然分数很高，但是普遍“高分低能”。当然最近也有一些有意思的评估大模型能力的方法，比如实时的游戏对战，感觉还挺有意思的～ 好巧不巧，前几天我刷到一个老外的帖子，他换了一种高级操作来评估大模型：用音乐来考AI！他提到使用音乐评估大模型是因为音乐理论本身不复杂，但组合千变万化，特别能考验模型的底层推理能力。 在老外哥的测试中，他挑选了一种较为冷门的洛克利亚调式，这就意味着这种问题大概率没有被大模型从训练数据中“背会”。除此之外，老哥还偷偷埋坑——就好像把天空画成绿色、草地画成红色，然后问AI：这是什么季节？直接把不会推理的模型整懵！ 之后，老哥对主流的大模型进行评估（一共5道题）： • OpenAI GPT-5：满分全对，稳得一批 • 谷歌 Gemini 2.5 Pro：被坑惨了，只对了3次 • Claude Opus 4.1：号称“最会思考”，结果5次只对1次，翻车警告 • 中国 文心 X1.1：虽然没全对（对了4道），但推理超级接近，还看出了里面的猫腻！ 底下的网友纷纷在老哥论坛底下留言感叹：“自从DeepSeek V3以后，这是中国模型进步最大的一次！”从这个问题上也说明咱们中国的大模型也已经不只是“背题小能手”，而是真的开始会“思考”了！希望之后老哥们脑洞能继续打开一下，多出点这种确实能够考察大模型能力的测试。 #百度 #文心一言 #文心X1.1 #AI #大模型 #科技 #AI工具