序列位置效应 - Serial-Position Effect - 那些我一直在对抗的

Refrence

我以前反反复复写的东西

在得知了一直以来被我“挥霍”并且暗下决心下次一定好好规划但从未实现的那些个暑假，寒假，开学效应，压力驱动等等，实际上都是所有人都有的，而且属于底层代码——注意力的序列位置效应，我突然有种荒谬感，但也因此松了一口气，这种事情不是 push harder 就能解决的。

我也不禁好奇，联想许多，从它的形成是为了应对什么样的环境。比如据说人在下午午睡睡过头时从心底升起孤独感是山顶洞人时期误以为迁徙中自己被同伴抛弃的错觉。虽然这个说法很离谱但是我意外地能接受，我不是那么科学严谨的一个人。

以及，我发现大模型的毛病和它这么像，而这个毛病是 Transformer 的自注意力机制本身带来的。而这个自注意力机制的数学解释我似乎知道，那是不是意味着我实际上也理解了人类注意力的本质？？

下面是一些从我以往写的东西里摘出来的东西，大多可以看作对于时间流逝敏感发的牢骚。

你可以选择直接跳过， or 走马观花，如果你也有同样的困扰你可以点进去看看。但后面我们主要集中在探索【5】。

而作为人类，作为死神口中的大部分普通人之一，没有碰到美少女拯救的我，总是会在假期开始时感到喜悦，前期感到漫无目的，中期感到无聊，后期寻求刺激。然后在末期，感觉到似乎得努力把之前缺失的部分都补回来的心情而开始规划作息。如此一次次“死去”，直到最终死去。
—— 【1】

U型性能曲线：模型的性能表现出一种明显的“U型”曲线。当关键信息位于输入文本的开头（首位效应或 结尾（末位效应） 时，模型的表现最好。而当关键信息被放置在文本的中间部分时，模型的性能会显著下降。
上下文越长，性能越差：研究还发现，即使是那些专门为处理长上下文而设计的模型，随着输入文本长度的增加，其整体性能也会大幅下降。
—— 【2】

在一个项目刚刚开始的时候，危机是存在的，目标是明确的。危机感是薄弱的、堪称惬意，目标感可谓全无，几乎可以称得上漫无目的。
目标感是一种积极、兴奋的心态。
我们常常清楚地知道自己的目标，却缺乏目标感，因为我们实际上认知的目标只是“应该做的事情”，而非“特别想做想实现的东西”。
—— 【3】

我必须死，才能好好活着。
这个范围还是不够广，它很精确，但是不足以概括所有，让我稍作拓展：1.顺遂自己的欲望只做想做的事情而非喜欢的事情，为了逃避某种焦虑，事后苦恼。2.想象描绘未来宏图，期待它的到来，但实际上我什么也没有为它做。
—— 【4】

让我们开始

但是虽然才刚刚开始，我就已经快下课了。

所以暂时在这里搁笔。