2026 August

8.1 ～ 8.9

📖 Theme：August Reset

🧠 Cognition

1. 小模型最好干小而精的事情，类似于三分类，任务简单直接，回答只需要理由+答案
2. Judger8.x方案主要是尝试不同输入，基于目前的tree、trace与ration的信息，各种不同组合，但跑出来最好的方案与全判Same也差不多，因为全Same其实也不低，居然也有0.85
3. Judger9.x方案主要是evidence-orianted，但显然tree和trace证据无法交叉对比，继续提取证据小模型做不到，也不对ration做二次加工，只会增大小模型的不可靠性与不稳定性
4. all4 complie关于tree的特别结论，说实话直觉上理论走的通，数字也符合，不过gpt提醒我要做个消融实验，不过我得构造测试集需要花时间，后续再做消融实验
5. 不同教师模型的slice判断也不同，一下子就加大了后续所有可能的随机性，当前baseline是拿gpt测试的，slice比较保守，而用dpsk-flash切分的激进了不少，slice并不一定哪方对，不过之前大规模测试是gpt，所以目前先用gpt训练为主

🖊️ Boundary

1. ✔ Judger 8.x、9.x、10.x 方案迭代 + 总结
2. ✔ 确定Slice微调流程 + 测试Slice原模型baseline + 生成Slice训练集教师数据 + 测试Slice Adapter效果
3. ✔ 确定Algorithm微调流程 + 生成Algorithm训练集教师数据 + 侧脸 Algorithm Adapter 效果
4. ✔ Let’s Build Generatively Pretrained Transformer，Let’s Go!

🎉 Next Theme：Transformer & Reverse Book

---

⛈️ August Reset

今天终于把窗帘拉开了，又度过了一次台风，总觉得每年夏天期待的台风天已经好几年没感受了，但今年切实的体验了两次，如同被考试暂停的几年，以往鲜活的一部分仿佛回来了。

不过困扰我最大的还是那股莫名的感觉，我今年正式定义为 间歇性意义感缺失：存在性焦虑，这股焦虑困扰了很多年，我也采用各种方式挣扎着这种感觉，直到去年考试学会了轻轻的共处，不过今年这个假期这个感觉又来了，考试的时候还有一个明确的目标，而在这低反馈的自由探索的科研生活，焦虑又换了一种形态让我继续体验。

我开始寻找锚点，寻找期待感，我也尝试像去年一样共处，然而这次没有明确的考试或是某个目标，我就像漂在大海上的锚，没有明确的方向，没有明确的深度，只是悬浮着，我不知道今晚该如何入眠，明天为了什么起来，只能是最低限度的飘到工位机械的干完每天的各种实验，目前微调的工程活很多，步骤很多，各种消融实验来证明结论的严谨，但说实话根本不太需要用脑。

然而书稿的ddl要来了，再不开始写真来不及了

嗯，LLM很有意思，这几天开始学习微调框架的各种知识让我体验到学习新知识的快乐感觉，然而逆向是我在逃避的，我到底在逃避什么，本身是个有趣的过程，我明白逃避的是IIE复试给我的结果，让我感觉到过去几年在专业上花费的努力毫无意义，我也客观理解只是那两个“老师”不懂逆向，只是还在慢慢接受，所以逆向书稿里的案例迟迟不想动手，而且也在思考新时代的文章到底该怎么写，我以前很喜欢分享逆向Write up，以我的角度去写整个逆向工程非常有趣，而如今LLM时代让我下不了笔，我不知道标准答案是什么，但也许需要做的只是开始手打出第一个字。

这段时间工位的人慢慢的回来了，工位那种热闹的气息，那股生命的气息又回来了，是的，那股当年在工位的感觉的确是回来了，熟悉又陌生，有的人在看剧，有的人在学习，有的人在打游戏，尽管有些吵闹，但我真的好怀念这股吵闹，尽管人不是同一批了，但这次也依然是共同学习的homie们，而且很厉害，经常要向他们学习他们所在专研的领域，解决实际需求与问题，这感觉真是太棒了。

（今天下午睡了一会，躺在实验室的椅子，由于台风工位也有丝凉意，旁边的窗户有些亮不过我转过了头继续睡，我做了一个梦，醒来有些发懵，睡的有点久了，工位的人都还在，皇帝还在看康熙来了解说，YuKimy似乎还在弄frp，书颉和说我要去看电影，无名侠要来和我一起做实验，我起来把书稿笔者序写完了，今天灵感很多，我写了很多内容）

---

8.10 ～8.18

📖 Theme（本周主线一句话：这一周你在解决什么问题）：Low Rank Adaption Paper

🧠 Cognition（认知变化，理解变了什么）

1. LLM论文阅读了半天，由于一些LLM基础知识不扎实，导致读的很慢，说实话如果有问题的话我通过LLM可以很快学习，但像这样慢慢读论文，又是语言问题，又是刚接触的领域，效率很低，结论是目前先专注LLM基础，不用啃完整LLM论文，而是先把明确问题以及陌生专有名词熟悉了
2. AlphaXiv 平台读论文，先拿来删选论文不错，还有看到其他对该论文评价
3. 想高互动的讨论问题使用claude cli，工程问题使用codex，gpt网页版适合解决实际问题，dpsk网页适合讨论哲学问题

🖊️ Boundary（能力边界变化）

1. ✔ 语言逆向笔者序与章节新框架
2. ✔ Python 环境搭建 + Demo逆向 + 拓展逆向 + 第一稿
3. ✔ 《Let’s Build Generatively Pretrained Transformer》入门
4. ✔ 《LoRA: Low-Rank Adaptation of Large Language Models》阅读 + 总结
5. ✔ 《QLoRA: Efficient Finetuning of Quantized LLMs》阅读 + 总结
6. ✔ 《LIMA: Less Is More for Alignment》阅读 + 总结

🎉 Next Theme：LoRA Experiment

---

🌀

啊，暑假啊，实则还有一个月，最近由于台风来了还挺凉快，不过这两天又热起来了，如同我的心情一般。

实验一个人做了几个月，好疲惫，其实每个周都有进展，不管是这个方案失败，还是某个地方有了突破，只是时间拉的好长让我有些心力交瘁，这就是科研吗，不过显然的是之后做实验会更有条理一些…不过也依然改变不了一个人做实验的疲惫…

事实上还有书稿还有实验等着我完成，这周完成python的稿子了，感觉是抓住新时代逆向的关键了，之前go的稿子一直有些不满意其实还是LLM用的不够多吧，如今idea比过程细节重要了，所以也借此机会做了较为全面的一次语言逆向的梳理，看完稿子就会对该语言基本逆向以及常见问题有了idea，就是我新时代写稿的目标所在吧，还是手写来劲，不过后续还要找ai改稿内容弄的更严谨一些，不过语言风格现在反而不那么规规整整的稿子才是我更想写出来的内容了。

微调的理论基础了解了一些，现在可以和ai讨论lora的问题了，也明确了接下来的实验路线，怎么说呢，一想到这个就有些疲惫，调研->设计方案->实验->出问题->调研->…这个循环这几个月已经经历了太多遍了，开学一定要抓些人来学逆向+LLM。而这个暑假仿佛只能独自疲惫缓缓的推进一个又一个实验，再写写稿子玩会逆向…

---