序列位置效应 - Serial-Position Effect - 那些我一直在对抗的

Refrence

我以前反反复复写的东西

在得知了一直以来被我“挥霍”并且暗下决心下次一定好好规划但从未实现的那些个暑假，寒假，开学效应，压力驱动等等，实际上都是所有人都有的，而且属于底层代码——注意力的序列位置效应，我突然有种荒谬感，但也因此松了一口气，这种事情不是 push harder 就能解决的。

我也不禁好奇，联想许多，从它的形成是为了应对什么样的环境。比如据说人在下午午睡睡过头时从心底升起孤独感是山顶洞人时期误以为迁徙中自己被同伴抛弃的错觉。虽然这个说法很离谱但是我意外地能接受，我不是那么科学严谨的一个人。

以及，我发现大模型的毛病和它这么像，而这个毛病是 Transformer 的自注意力机制本身带来的。而这个自注意力机制的数学解释我似乎知道，那是不是意味着我实际上也理解了人类注意力的本质？？

下面是一些从我以往写的东西里摘出来的东西，大多可以看作对于时间流逝敏感发的牢骚。

你可以选择直接跳过， or 走马观花，如果你也有同样的困扰你可以点进去看看。但后面我们主要集中在探索【5】。

而作为人类，作为死神口中的大部分普通人之一，没有碰到美少女拯救的我，总是会在假期开始时感到喜悦，前期感到漫无目的，中期感到无聊，后期寻求刺激。然后在末期，感觉到似乎得努力把之前缺失的部分都补回来的心情而开始规划作息。如此一次次“死去”，直到最终死去。
—— 【1】

U型性能曲线：模型的性能表现出一种明显的“U型”曲线。当关键信息位于输入文本的开头（首位效应或 结尾（末位效应） 时，模型的表现最好。而当关键信息被放置在文本的中间部分时，模型的性能会显著下降。
上下文越长，性能越差：研究还发现，即使是那些专门为处理长上下文而设计的模型，随着输入文本长度的增加，其整体性能也会大幅下降。
—— 【2】

在一个项目刚刚开始的时候，危机是存在的，目标是明确的。危机感是薄弱的、堪称惬意，目标感可谓全无，几乎可以称得上漫无目的。
目标感是一种积极、兴奋的心态。
我们常常清楚地知道自己的目标，却缺乏目标感，因为我们实际上认知的目标只是“应该做的事情”，而非“特别想做想实现的东西”。
—— 【3】

我必须死，才能好好活着。
这个范围还是不够广，它很精确，但是不足以概括所有，让我稍作拓展：1.顺遂自己的欲望只做想做的事情而非喜欢的事情，为了逃避某种焦虑，事后苦恼。2.想象描绘未来宏图，期待它的到来，但实际上我什么也没有为它做。
—— 【4】

让我们开始

当我稍微看了一下Serial Position Effect (Glanzer & Cunitz, 1966)后，我发现，它的实验的设计方式，得出结论的方式和最终结论，和 Lost in the Middle: How Language Models Use Long Contexts 的方式一模一样。而它们，前者在 1966 年发表，实验对象是心理学专业的学生，后者在 2023 年发表，实验对象是 chatgpt3-turbo 等模型。

也许是后者的作者偶然间对序列位置效应产生兴趣，然后不小心翻到了那篇接近六十年前的文章，然后联想到大模型，又带着测试的心情去复现了一下，结果完全一致。

所以说，谁也不知道当你在一堆无法复现的泥塘里反复挣扎时其实其他领域的一篇看似毫无相关的文章会不会给自己带来思路，要知道 Lost in the Middle 虽然实验很简单，但是由于它是某种常识的建立，所以它显得相当重要，引用量也到了让人望而却步的 2000+。

而它其实更早的时候就可以被发表了，因为这个问题是 Transformer 带来的。不过在 LLM 的时代发出它确实也会热度更高。

实验设计

共有 103 名参与者，他们都是心理学入门课程的学生。这些参与者男女都有，参加这项研究是为了达到课程要求。

他们被分成了六祖

测试表格

列标题一	列标题二	列标题三
居左内容	居中内容	居右内容
单元格 A	单元格 B	单元格 C
更长的文本内容	短文本	数字 123