1.top school Ph.D Student的能量和心力

research 心法总则 #card
image.png

Chonghe Wang(MIT) [[冲气以为和]] #card
image.png

Andrej Karpathy(Stanford) #card

image.png

[[你Helen姐]](Princeton Math Ph.D)

  • 因为Helen没有实名上网,所以暂时不放真名,但Helen姐(现在在小红书分享)对我的影响是非常深刻的,她的思想非常先进,关于学习和个人发展的认识也非常深刻。这些分享是她早年间在微博分享的(现在可能已经不可见),我整理和收藏了多年。她对于女性科研工作者也有很强烈的鼓舞。

  • 这些分享揭示了Ph.D的本质,和自学成才的本质,不要被虚荣心蒙蔽,不要为了和别人攀比而学习,不要为了学会什么fancy的名词获得什么title而沾沾自喜,避免无效学习,摆脱线性思维,靠自驱力和motivation,不要在意无关人士的评价。这些观点我相信会对很多人都有启发。

  • 暑假的时候,师兄师姐都回家了,只有我没回家自己在办公室学习。这是我一个学生,三月份才开始学代几,她一个人在清华自学到我回来,现在正在给我写书

  • 一年前感觉身边的人都太遥远,连比较都觉得自己没法跟他们比较,更何况说是赶上他们当年的水平。#card

    • 现在在看居然有了赶上他们博一时候水平的底气,有时候看别人问的问题自己也能感觉出来,我当时确实还是有救的
  • 我从我的生活挫折经历中学会的一点是,永远不要浪费时间在不值得的人身上,你只要和 理解你的人 交流就OK

  • 有时候关于前沿知识的书啃不动不是因为太笨了,是因为有时候 它默认的符号/事实你不熟悉 ,这时候有个人引导你该怎么看书,从哪里看,哪里又可以省略就比较重要

  • 老板对我严格要求有效果,我做题不是为了获得刷完题的title,而是训练思维逻辑,证明的规范严密,#card

    • 虽然现在还有很多小漏洞,但只要发现一点就能改正一点。师兄那时候还说我不太谦虚,后来11月的时候他告诉我老板说我是个可造之材,

    • 我时常跟老板说我基础太差想告诉一些像我一样不算科班出身的人:

      • 天赋决定你能不能踏进来,但其他很多因素决定你能走多远:

      • 看书不看山寨书,碰到问题多思考,从定义出发,不要背结论。

      • 你学得好了以后,慢慢自己就有大局观,上来就纸上谈兵没意义。

      • 最重要的一点,做题是为了让你自己写证明

  • 暑假我说我对暑校教程有想法,想当助教,那我就提出了建设性意见,最后暑校教材我也立马没日没夜地写,有时候还会想到那些还没考虑到,能不能让这不到两百页让人看得通顺又懂,都说上课讲的像飙车一样快,证明还简练.#card

    • 终于在申请之前有了个草稿,当然也获得了很多人认可。

    • 所以其实我的经历还是比较难以复刻

  • 明确自己的需求,有 motivation, 肯定没时间做什么都懂的全才。不会因别人会我不会就去跟风学。#card

    • 如果我对什么感兴趣,想读什么就一定会专心去读, 比如之前只有四页纸证明AFL 的论文, 我就去学相关背景,参加讨论班听别人讲
  • 不是人人都有强大的内心。即使是我也曾经自闭一年沉迷游戏。但我只要看到机会就能去努力抓住,看看别人是怎样学习的,看看别人是什么心态,思想上有了很大的转变,学习习惯也改善了很多,比如知道怎样去了解自己的情况做针对性训练,指导去寻求专家的指点, 而不是看到 A刷B题就去刷,看B学某个高大上的理论就去当民次党,看C 吹了某本书就立马来看。#card

    • 最重要的是, 不要在意不相关的神秘人对你的评价, 那些人自己都没活明白呢。有自己的 Motivation 就好,该有的训练也不要丢
  • 我的一个先天优势可能就是记忆力很想强 #card

    • 只要我觉得有问题要注意的东西, 写过的东西都能记得在哪,然后一个个去解决
  • 很想分享一下我们 incoming student 的英语培训下项目,#card

    • 今天的课大部分在讲, setting yourself to be success,,有几点是在国内待过的大学很少听人讲的。

    • 一个就是做自己,就是肯呢个有些人过来教育你要做这做那,其实有时候你有你自己的 motivation,坚持有自己的想法就好,不需要人云亦云.

    • 另一个就是不要去比,比如他五年毕业我六年毕业, 他拿奖学金我没有(只和自己比),比这些容易心态崩了

  • 弗洛伊德本可以成为我。在一个处处压迫歧视,恶性循环,你做什么都是错的环境里,很难破茧而出,更多的是所有人一起堕落,下一代也不见天日。#card

    • 就像一个女生从小被周围人打击,你就是学不好,你就是废物,女人智商低,赶紧结婚生孩子,传宗接代就是你唯一的价值。

    • 我们要做的不是什么都不在乎,而是看到坏的现象立刻去阻止,去谴责, 去做任何力所能及的事情去改变, 下一代创造更好的环境

  • 普林研究生课比较缺乏基础课,比如 skinner的课就是讲自己的research,而且都没有作业考试,可能想让学生更自觉地 research 吧,自学能力/自我调节能力很重要。#card

    • 所以我觉得委员会招人可能会倾向于招学得很快,motivation很强,自学能力强的人,还比较善于交流的人.

    • 对立面就是不倾向于招那种只是都是靠抄一遍书背下来的,只会考高分的。这种人招进来会很慘,因为没人给你补基础,指reseacrh.之前的前沿课程

  • 分享2 #card
    image.png

image.png

  • 分享 3
    • 自尊自信还是要靠提升自己获得,总有人讨厌励志的人,因为太能反衬他们的不学无术和碌碌无为。#card

      • 你励志必然打破他们对于自己的幻想,发现自己其实是卢瑟的事实,所以迫害你是正常的。

      • 无论如何都不要被他们影响,你努力提升认真踏实做事就是对的,就是值得尊重的

    • 很早就以博士生要求自己,虽然和师兄师姐相比还是有点散漫,因为我玩手机他们不玩。#card

      • 我集中精力高产的时候是可以从早晨一直工作到凌晨的,连续一个月。

      • 以前听说谁一周工作80小时还会感到诧异,其实就是比较自觉自律而已当要做什么东西的时候,思路是连续的幽灵干了必须马上写下来

    • 我是一个行动派的人,只要我决定了做什么,我就一定会去做,而且要做得完美.就像小时候我跟我妈说,这次数学我满分,我妈以为我开玩笑,结果我以后此次满分。#card

      • 刚踏入代数几何领域的时候导师说,你把 gtm52刷完再来找我吧,那我就立马做,没日没夜的半年刷完前四章。

      • 交上的作业还会默默计算有没有比上次做得好

image.png

  • 分享4
    image.png

image.png

image.png

  • 我觉得我完美符合委员会的要求,代数几何代数数论方向的技能点基本一年内点满了,也是靠自学,并且喜欢自己产出,不太喜欢看(背)乱七八糟的讲义or 只依赖于听别人讲。#card

    • 一般我自己写一遍我就完全懂了。

    • 有些人觉得我 GPA4.0,我本科学校多牛逼,或者拿了什么奖,我学历点什么东西,参加了个什么项目就觉得自己能被啥啥录取了,

    • 多想想全民做题家环境里一些不被注意到的品质,早点脱离线性思维,别总用一些条条框框judge 别人和自己

  • 以前打前沿课程基础的时候,我还会把 每天的思考写下来,把每天的问题列出来, 到晚上解决了的就划去,然后把解决不了和我认为我有好的想法还需要讨论一下的分两个类记好,每周 meeting 的时候跟老板讨论。学得快也不只是有天赋,还得有心,没心没肺只会突击的时候就是理解很浅

  • 复读一下朋友圈,就突然很想记录这一刻的心情,记录一下数学上的想法,第一次知道kronecker之梦是在19年从三亚回来的时候,那时花了一晚上学习 Kronercker-Weber.定理的初等证明,#card

    • 到如今又遇到了几何版本梦幻般的联系,突然感觉动力满满,

    • 因为又知道了它跟以前学过单页不知道到底多么好的理论的关系,

    • 感到很兴奋,老木突发第二春,可能这就是数学之美吧

  • my notes #card
    image.png

image.png


2.如何对科研的不同阶段建立正确的认知

Haoshu Fang(SJTU-MIT) #card

  • 科研第一阶段是学习技能阶段,但是不要上来打基础就打2年(从CS231n看起,Andrew NG的机器学习看起,深度学习花书看起),不是说看书没用,基础知识都必须全部要学,但是AI是高度实践性的学科,一定要知识结合代码。学习技能阶段最好找到active的senior member合作,具体看下文Fang博士的分享吧,要找到有能力愿意带你的前辈,跟着学。

    • Junior阶段怎么让大佬愿意带你?请见我的第一张图分享:

    • 1.态度诚恳,踏实肯干,从帮别人打下手开始,学习别人的工作流程,工作技能,向有结果的人学习

    • 2.long vision:首次合作愉快才会有长期合作机会(重视reputation,不看重一时得失)。最开始不要去斤斤计较几作,是去学习技能的(写文章,投稿)

  • 科研第二阶段是熟练技能以后,开始以共一或独立做project,这一段时间就是Ph.D的training。

  • 科研第三阶段是准教职阶段,提出大的目标/问题,用3-5年完成/回答。

image.png

image.png

Jun Cen(HKUST) #card

  • Cen博士把科研分为了四个阶段,

    • 入门摸索阶段-

    • 学会科研阶段-

    • 精通熟练阶段-

    • 合作带人阶段。

  • 相比上面的思路新加了一个合作带人阶段,其实不用等到教职,从Senior Ph.D开始就会接触到这个阶段,学术合作也是很好地拓展自己交际圈和影响力的方式,在带Junior的过程中,训练自己当老师的技能和领导力。

image.png

[[Sida Peng]]

  • [[pengsida@learning_research]] Peng老师在Github分享了非常详细的经验。这些经验高屋建瓴地分享了完成一个reseach project的流程,很有借鉴意义。

  • 提出了三种想idea的方式:

    • 1.idea-driven

    • 2.goal-driven

    • 3.旧领域+新锤子(新工具,如diffusion, gaussian splatting, mamba等)

image.png

image.png


3.非常具体(hands on)的AI科研目标&经验

Junwei Liang(CMU)

  • 梁老师是我的恩师,从梁老师这里学到了很多东西,作为AI PhD,如何设定目标,以及如何去达到目标。制作Awesome List也是获得影响力的方式,我的Awesome-Mamba-List受梁老师的insights启发。

  • 1.作为 AI PhD,毕业后想进入学术界和工业界,未来 4-5年的 publish plan和 career plan应该是什么。

    • 工业界目标 #card

image.png

+ 学术界目标#card

image.png

image.png

  • 如何去达到目标
    • 1 找到一个好的 research direction #card
      image.png

    • 2在你选择的direction 下做到 successful #card

image.png

image.png

Guodun Lee(ZJU)

  • [[@普通硕士生的NLP之旅]]

  • @Gordon Lee 是我的好朋友兼人生导师,教会了我非常多的东西,我的第一篇一作工作,虽然现在看来不完美,但也得到了他的很多帮助。Gordon大量总结了自己读研的经验教训,硕士毕业有2A2B工作,虽然他是这个系列唯一一个MS,但我认为他是有PhD水平的。#card

    • 这些经验囊括了AI MS或PhD初级阶段需要的各种技能:阅读论文,做笔记,文献管理,如何社交,如何做开源项目获得影响力,科研失败教训,如何Rebuttal。尤其是社交&做开源项目方面,我受到了他很多影响,并践行到我自己的人生体系里面,这让我交到了很多做学术的朋友们。

Runsheng Xu(UCLA) #card
image.png

image.png

image.png


@普通硕士生的NLP之旅

日常科研经验分享:方向和论文

  • 如何选择自己的研究方向 #card
    image.png

  • 如何找到适合自己阅读的论文 #card
    image.png

日常科研经验分享:读论文和做笔记

  • 如何阅读 ai 论文 #card
    image.png

  • 阅读论文如何做好笔记 #card
    image.png

image.png

+

image.png

如何提高炼丹能力 #card

image.png

image.png

image.png

+

为什么要社交 #card

image.png

开源项目 #card

image.png

如何找到属于自己的 idea,怎么增大实验work的概率 #card

image.png

MM2021 图像风格化描述生成 #card

image.png

COLING 2022,持续学习场景的少样本意图识别#card

image.png

我从失败中学到什么

  • 教训一:不要迷信 sota #card
    image.png

  • #card 教训二:想到的新开坑的 idea 已经被做了

image.png

  • #card 如何 rebuttal

image.png

总结 #card

image.png


Successful PhD Journey

科研的本质是 项目管理 ,身兼:算法,开发,产品,运营(宣传),Manager(项目排期,进度管理)

我开新Project的流程 #card
image.png

Junior阶段如何找到大佬带你?#card

  • 态度诚恳,踏实肯干,从帮别人打下手开始,学习别人的工作流程,工作技能,向有结果的人学习

  • long vision:首次合作愉快才会有长期合作机会(重视reputation,不看重一时得失)

如何面对科研中的挫败和无反馈感?#card

  • 绝大多数时候失败,极少数时候成功

  • git管理:看看git commit次数,每天走之前commit一次,给自己正反馈

  • Notion记录项目开发和实验日志,带时间戳,“可视化”自己的进展和进步

xiaoguang han 如何想 idea

  • Specific topics #card
    image.png

  • Sora 的启发 #card
    image.png

image.png

  • 如何想 topics #card
    image.png

image.png


如何建立科研正反馈

1.git管理:看看git commit次数,每天走之前commit一次,给自己正反馈。 #card
image.png

2.Notion记录项目开发和实验日志,带时间戳,“可视化”自己的进展和进步 #card
image.png