2026 August
8.1 ~ 8.9
📖 Theme:August Reset
🧠 Cognition
- 小模型最好干小而精的事情,类似于三分类,任务简单直接,回答只需要理由+答案
- Judger8.x方案主要是尝试不同输入,基于目前的tree、trace与ration的信息,各种不同组合,但跑出来最好的方案与全判Same也差不多,因为全Same其实也不低,居然也有0.85
- Judger9.x方案主要是evidence-orianted,但显然tree和trace证据无法交叉对比,继续提取证据小模型做不到,也不对ration做二次加工,只会增大小模型的不可靠性与不稳定性
- all4 complie关于tree的特别结论,说实话直觉上理论走的通,数字也符合,不过gpt提醒我要做个消融实验,不过我得构造测试集需要花时间,后续再做消融实验
- 不同教师模型的slice判断也不同,一下子就加大了后续所有可能的随机性,当前baseline是拿gpt测试的,slice比较保守,而用dpsk-flash切分的激进了不少,slice并不一定哪方对,不过之前大规模测试是gpt,所以目前先用gpt训练为主
🖊️ Boundary
- ✔ Judger 8.x、9.x、10.x 方案迭代 + 总结
- ✔ 确定Slice微调流程 + 测试Slice原模型baseline + 生成Slice训练集教师数据 + 测试Slice Adapter效果
- ✔ 确定Algorithm微调流程 + 生成Algorithm训练集教师数据 + 侧脸 Algorithm Adapter 效果
- ✔ Let’s Build Generatively Pretrained Transformer,Let’s Go!
🎉 Next Theme:Transformer & Reverse Book
⛈️ August Reset
今天终于把窗帘拉开了,又度过了一次台风,总觉得每年夏天期待的台风天已经好几年没感受了,但今年切实的体验了两次,如同被考试暂停的几年,以往鲜活的一部分仿佛回来了。
不过困扰我最大的还是那股莫名的感觉,我今年正式定义为 间歇性意义感缺失:存在性焦虑,这股焦虑困扰了很多年,我也采用各种方式挣扎着这种感觉,直到去年考试学会了轻轻的共处,不过今年这个假期这个感觉又来了,考试的时候还有一个明确的目标,而在这低反馈的自由探索的科研生活,焦虑又换了一种形态让我继续体验。
我开始寻找锚点,寻找期待感,我也尝试像去年一样共处,然而这次没有明确的考试或是某个目标,我就像漂在大海上的锚,没有明确的方向,没有明确的深度,只是悬浮着,我不知道今晚该如何入眠,明天为了什么起来,只能是最低限度的飘到工位机械的干完每天的各种实验,目前微调的工程活很多,步骤很多,各种消融实验来证明结论的严谨,但说实话根本不太需要用脑。
然而书稿的ddl要来了,再不开始写真来不及了

嗯,LLM很有意思,这几天开始学习微调框架的各种知识让我体验到学习新知识的快乐感觉,然而逆向是我在逃避的,我到底在逃避什么,本身是个有趣的过程,我明白逃避的是IIE复试给我的结果,让我感觉到过去几年在专业上花费的努力毫无意义,我也客观理解只是那两个“老师”不懂逆向,只是还在慢慢接受,所以逆向书稿里的案例迟迟不想动手,而且也在思考新时代的文章到底该怎么写,我以前很喜欢分享逆向Write up,以我的角度去写整个逆向工程非常有趣,而如今LLM时代让我下不了笔,我不知道标准答案是什么,但也许需要做的只是开始手打出第一个字。

依然没有忘记去年八月备考心如死灰的状态,今年也是,总会需要一些他人的提醒或是强烈的体验让我醒了过来,常常会觉得大家都好辛苦,无论是走在路上看到的人,或是想起家里人,然而真的感受到了他们的实际体验,真是让我感受有些窒息,这几天体验到了很多情绪,而是但就是这份窒息感让我唤起了麻木状态下的自己。
何尝不是在等待一个锚点、一份期待感,来让我继续生活,间歇性意义感缺失:存在性焦虑,其实就是这些体验让我感觉又有了意义,让我感受到了我的存在,才会有勇气敲下书稿的第一个字,再次面对微调存在的难题,从零开始学习模型的新知识,可能不能一下子就改变我的现状,但一点点小小的改变,足以给我继续生活下去的勇气。
About this Post
This post is written by P.Z, licensed under CC BY-NC 4.0.