2026 August

8.1 ～ 8.9

📖 Theme：August Reset

🧠 Cognition

1. 小模型最好干小而精的事情，类似于三分类，任务简单直接，回答只需要理由+答案
2. Judger8.x方案主要是尝试不同输入，基于目前的tree、trace与ration的信息，各种不同组合，但跑出来最好的方案与全判Same也差不多，因为全Same其实也不低，居然也有0.85
3. Judger9.x方案主要是evidence-orianted，但显然tree和trace证据无法交叉对比，继续提取证据小模型做不到，也不对ration做二次加工，只会增大小模型的不可靠性与不稳定性
4. all4 complie关于tree的特别结论，说实话直觉上理论走的通，数字也符合，不过gpt提醒我要做个消融实验，不过我得构造测试集需要花时间，后续再做消融实验
5. 不同教师模型的slice判断也不同，一下子就加大了后续所有可能的随机性，当前baseline是拿gpt测试的，slice比较保守，而用dpsk-flash切分的激进了不少，slice并不一定哪方对，不过之前大规模测试是gpt，所以目前先用gpt训练为主

🖊️ Boundary

1. ✔ Judger 8.x、9.x、10.x 方案迭代 + 总结
2. ✔ 确定Slice微调流程 + 测试Slice原模型baseline + 生成Slice训练集教师数据 + 测试Slice Adapter效果
3. ✔ 确定Algorithm微调流程 + 生成Algorithm训练集教师数据 + 侧脸 Algorithm Adapter 效果
4. ✔ Let’s Build Generatively Pretrained Transformer，Let’s Go!

🎉 Next Theme：Transformer & Reverse Book

---

⛈️ August Reset

今天终于把窗帘拉开了，又度过了一次台风，总觉得每年夏天期待的台风天已经好几年没感受了，但今年切实的体验了两次，如同被考试暂停的几年，以往鲜活的一部分仿佛回来了。

不过困扰我最大的还是那股莫名的感觉，我今年正式定义为 间歇性意义感缺失：存在性焦虑，这股焦虑困扰了很多年，我也采用各种方式挣扎着这种感觉，直到去年考试学会了轻轻的共处，不过今年这个假期这个感觉又来了，考试的时候还有一个明确的目标，而在这低反馈的自由探索的科研生活，焦虑又换了一种形态让我继续体验。

我开始寻找锚点，寻找期待感，我也尝试像去年一样共处，然而这次没有明确的考试或是某个目标，我就像漂在大海上的锚，没有明确的方向，没有明确的深度，只是悬浮着，我不知道今晚该如何入眠，明天为了什么起来，只能是最低限度的飘到工位机械的干完每天的各种实验，目前微调的工程活很多，步骤很多，各种消融实验来证明结论的严谨，但说实话根本不太需要用脑。

然而书稿的ddl要来了，再不开始写真来不及了

嗯，LLM很有意思，这几天开始学习微调框架的各种知识让我体验到学习新知识的快乐感觉，然而逆向是我在逃避的，我到底在逃避什么，本身是个有趣的过程，我明白逃避的是IIE复试给我的结果，让我感觉到过去几年在专业上花费的努力毫无意义，我也客观理解只是那两个“老师”不懂逆向，只是还在慢慢接受，所以逆向书稿里的案例迟迟不想动手，而且也在思考新时代的文章到底该怎么写，我以前很喜欢分享逆向Write up，以我的角度去写整个逆向工程非常有趣，而如今LLM时代让我下不了笔，我不知道标准答案是什么，但也许需要做的只是开始手打出第一个字。

这段时间工位的人慢慢的回来了，工位那种热闹的气息，那股生命的气息又回来了，是的，那股当年在工位的感觉的确是回来了，熟悉又陌生，有的人在看剧，有的人在学习，有的人在打游戏，尽管有些吵闹，但我真的好怀念这股吵闹，尽管人不是同一批了，但这次也依然是共同学习的homie们，而且很厉害，经常要向他们学习他们所在专研的领域，解决实际需求与问题，这感觉真是太棒了。

---

8.10 ～8.18

📖 Theme：Low Rank Adaption Paper

🧠 Cognition

1. LLM论文阅读了半天，由于一些LLM基础知识不扎实，导致读的很慢，说实话如果有问题的话我通过LLM可以很快学习，但像这样慢慢读论文，又是语言问题，又是刚接触的领域，效率很低，结论是目前先专注LLM基础，不用啃完整LLM论文，而是先把明确问题以及陌生专有名词熟悉了
2. AlphaXiv 平台读论文，先拿来删选论文不错，还有看到其他对该论文评价
3. 想高互动的讨论问题使用claude cli，工程问题使用codex，gpt网页版适合解决实际问题，dpsk网页适合讨论哲学问题

🖊️ Boundary

1. ✔ 语言逆向笔者序与章节新框架
2. ✔ Python 环境搭建 + Demo逆向 + 拓展逆向 + 第一稿
3. ✔ 《Let’s Build Generatively Pretrained Transformer》入门
4. ✔ 《LoRA: Low-Rank Adaptation of Large Language Models》阅读 + 总结
5. ✔ 《QLoRA: Efficient Finetuning of Quantized LLMs》阅读 + 总结
6. ✔ 《LIMA: Less Is More for Alignment》阅读 + 总结

🎉 Next Theme：LoRA Experiment

---

🌀

啊，暑假啊，实则还有一个月，最近由于台风来了还挺凉快，不过这两天又热起来了，如同我的心情一般。

实验一个人做了几个月，好疲惫，其实每个周都有进展，不管是这个方案失败，还是某个地方有了突破，只是时间拉的好长让我有些心力交瘁，这就是科研吗，不过显然的是之后做实验会更有条理一些…不过也依然改变不了一个人做实验的疲惫…

事实上还有书稿还有实验等着我完成，这周完成python的稿子了，感觉是抓住新时代逆向的关键了，之前go的稿子一直有些不满意其实还是LLM用的不够多吧，如今idea比过程细节重要了，所以也借此机会做了较为全面的一次语言逆向的梳理，看完稿子就会对该语言基本逆向以及常见问题有了idea，就是我新时代写稿的目标所在吧，还是手写来劲，不过后续还要找ai改稿内容弄的更严谨一些，不过语言风格现在反而不那么规规整整的稿子才是我更想写出来的内容了。

微调的理论基础了解了一些，现在可以和ai讨论lora的问题了，也明确了接下来的实验路线，怎么说呢，一想到这个就有些疲惫，调研->设计方案->实验->出问题->调研->…这个循环这几个月已经经历了太多遍了，开学一定要抓些人来学逆向+LLM。而这个暑假仿佛只能独自疲惫缓缓的推进一个又一个实验，再写写稿子玩会逆向…

---

8.19 ～ 8.24

🤿

最近都没好好写每日日志，因为实验停摆了，真是一个人卡住了，由于实验过多让我CPU过载了，过热后就停摆了，实在是找不到身边人一起做实验了，于是求助导师摇人，终于是找到了一个博士一起做实验！今天聊完是一拍即可可以开始实验工作了，同校同课题组还挺方便的。

这些天经常和int在天台吹风，探索科技馆无人之处，三个人在协会聊当前时代下的安全如去何从，日常江西小炒，嗯，大学生活吗，工位的这种日常更多我对大学的诠释。

今天见了不少课题组的人，见完后去游了个泳，碰到一个人需要我帮他记100米时间，他有些激动的和我说要考教练证，这次时间达标了，今天阳光很大，不过舒适的风，天空也很好看，我终于不是埋头在自习室的考研人了，明天还可以和工位的人一起打羽毛球，突然意识到终于进入到了一个新的圈子，开始有了基本的社交，不管是工位每天相见的人，还是刚认识一起实验的博士，也许承接住漂浮不定的我的就是这些日常。

接下来的工作很清楚，列出要做的实验，学习拓展篇，继续写书稿，写论文writeup，事情很多，不过很明确下一步工作是什么，也终于是有心力写下来要做的实验，继续推进实验。

8.25 ～ 8.31

💡

八月份一下子就过完了，最近几周都没什么进展，以致我懒得记录，当然也是自己懒了。

感觉一直在做一些重复性的实验，收益甚微，消融实验变得越来越多的情况也是主线实验卡着，所以一直在做当前环境的各种消融实验，当然也真给我消出来些东西，主线baseline又提升了，以及理论上更合理了。

而且目前对方案有了更清晰的认识，于是昨天月组会的讨论，和汪博聊了一下终于意识到缺失的地方，这个loss率啊，和ai也讨论过，参数也讨论过，真的是没做过这方面导致一些事情想的理所当然了，终于被指出来了。于是回来继续和yuki聊神经网络，又意识到了其实目前的转换还有解法。

果然啊，闭门造车不可取，而我又怎么陷入这困境呢，其实不管是loss还是新方案都和ai聊过，ai并没有指出我loss的问题，当然目前loss还要做一下实验是否正常了，包括参数也要调整，感觉很有戏，如果该方案不行还能试试翻译器的idea，就差最后这几个小模块了…做完就终于把长达几个月的反复尝试做完了。

还有两周就要开学了，而房租一周要到期了，又不能提前入住宿舍，我在想住工位一周了，其实能住，甚至有两张床能睡，洗澡可以去游泳馆洗，现在的公寓除了回去睡个觉基本也不呆着，到时候录个vlog哈哈，看看自己住工位能撑几天。

这次加入的课题是个新课题组，一共似乎才十几二十个人，因为是新的反而更有意思些吧，一切都是从零开始，大师兄人也不错，已经请我吃了两顿饭了，包括后续一起把实验做完，课题组氛围也许可以期待一下，能认识些新的朋友，当然目前0RAYS这边已经认识几个很不错的了，这才是新大学新的开始，大家都在为不同问题探索着，组织出一个领域交叉的群体，非常有意思，这次不像匆匆的本科两年基本都在考研了，也终于加入了网络空间安全学院了…

All right，八月总体来说我还是在摸鱼的，其实LoRA效果不佳的问题上个月就出现了，不过当时的整个方案还没定型，这个月终于把主线定型好了，不得不去面对拖着的问题了，现在来看是终于讨论出下一步方案了，有困难的时候应该早点和身边人讨论一下，有些惯性的在自己内耗了，现在不是孤身一人在学习了，也终于有机会和身边人就能交流问题了，终于是线下的在这个社群之中了，嗯，也许当初不想去工作想来考研的就是为了体验一把这个过程。八月记。