文心一言3.5 文献理解能力初探

吕不韦的窃国计划和春申君那篇里几乎如出一辙,又几乎算是同时发生,怀疑是同一件事在流传过程中遭到了挪用,便聚焦在该计策/故事模式本身。

晚上梯子不稳定用不了GPT,加上本身又没有训练《史记》原文,便试着问问看文心一言3.5
1

有力的证据,至少说明司马迁认可这种事挺少见,不过为了以防万一……
2

自爆了。连“六尺巷”的故事都能在不同地点由不同人演绎好几次。

鉴于中国古代史书的借鉴传统和程度,几乎可以肯定文心一言开始胡扯了。

为了避免文心一言受到前面的问题的影响,陷入更深的幻觉,重开对话从头开始。
3

看来我需要做的其实是把它从无边的幻觉中拉回来
4

还没明白
5

颇有一种启发式教学终于成功的欣慰,看看能不能闻一以知二
6

感觉不如子贡
7

看上去文心一言并没有全文检索的能力,需要提供一个个关键词。

不过这也无妨,AI理解肯定比人类还是快的,我逐渐试下去,感觉挺良好的,直到再次回到吕不韦……
8

看来是我俩的记忆力都不够了,才想起来文心一言有“览卷文档”功能,遂传了个原文上去,再问一回
9

再反思一下,是我这个问题太模糊了,本身就缺乏引导,如果加入示例的话
10

哦哦哦!它说了还有其他例子!看来我的尝试终于取得了成功。

总结一下,文心一言就算有着

会在问题诱导下陷入幻觉,

在提出问题之前就已经陷入幻觉,

理解力低下,

总结不准确,

信息不全面,

记忆不足以致于前后矛盾

等等诸多弊病

只要找对使用方法就能克服,于是我让它再生成一个答案……
11

放弃!!!

Last edited by @_z0 2024-03-11T16:41:01Z

1 Like

AI不聽話呀;睡吧,先:)

问心3.5,,疑似有点落后了
问心4.0会好很多,GPT4会好更多

文心4是不是用的“某4”(因为熵值计算的原因没法敲字母,想表达的是某三字母大语言模型)的内核?
我猜文心不行的原因是墙里训练量不足?