@天空之城:拉马努金式思维训练法

[[拉马·努金]]一位来自 印度 的数学天才,凭借直觉和灵感产生几千个数学公式,经过验证大部分公式是正确的。
卡尔 纯粹数学与应用数学概要,有结论但是没有详细证明 #card

  • 通过用自己的方法去重构或者重新证明一些已知问题或结论。

机器学习中的拉马努金式思维训练法 #card

  • 首先,看一下论文的标题,你能否从论文标题猜出作者要解决什么样的问题?能否从论文标题大致猜出作者用的什么方法?

    • 如果上面两个问题的答案是肯定的,那么你可以试图恢复作者方法的细节信息,或者自己提出自己的重建方法来解决这个问题;

    • 如果答案是否定的,那么请去看论文的摘要,那里会给你提供更多的信息,再次回答上述两个问题。

  • 如果看完摘要,两个问题的答案依然是否定的,那么可以去看下论文里面的方法图示,之后再次问自己上面两个问题。

  • 如此迭代,像慢慢拼出一副拼图一样,逐步释放给自己更多信息,争取让自己用最少的信息量重建出作者的方法,或者根据已知线索提出自己的解决方法。

  • 然后,到了这一步,你一定已经尝试着猜测着去恢复出你认为作者使用的方法,或者提出了自己的方法。此时你可以去论文里大致看下你猜的对不对,如果猜的不对,问自己下列问题:

    • 你的方法和作者的方法有什么不同?

    • 各自的优点缺点是什么?

    • 哪个更好些?

[[@Item2Vec: Neural Item Embedding for Collaborative Filtering]]

  • 标题 #card

    • 使用神经网络训练 Item Embedding

    • CF 使用 Rating Matrix 数据

    • 分析可能的技术方案

      • 无监督方法

        • 用 word2vec 训练 item embedding
      • [[Triplet Loss]]

        • <item1+,item2+,item-> item1 和 item2 来自同一用户序列中里的商品,item- 为随机选择负例。item1 和 item2 的分数要高于 item1 和 item- 的分数
  • 摘要#card

    • [[Abstract]]

如何判断哪个工作有价值? #card

  • 首先,先看实验部分,如果效果有特别明显的提升,那么这篇论文绝对是值得看的,无论它的方法是简单还是复杂;

  • 而如果效果有提升但是幅度不是很大,我觉得这种工作可看可不看,可以加上一个辅助判断。

    • 辅助判断是:如果方法比较复杂(除非整个思路框架非常新),建议直接扔了不看,有这时间不如去听会歌放松放松,我估计这不会给你的知识更新带来任何损失;

    • 而如果方法比较简洁,那么看你心情,心情好就看,心情不好就不看。

    • 怎么样,这个标准还是很随性很好执行的吧?不用谢。

[[知无涯者]] 拉马努金在英国处境不佳,一直急于发表自己的两部公式笔记,以期待因此能得到人们的肯定。 #card

  • 哈代把拉玛努金拉到莱恩图书馆,指着一排排陈列整齐的书籍对他说:“人这一生获得荣誉的方式有很多种,对我们来说,被选为院士就是一种。但在我看来,如果在我们离世之后,能在莱恩图书馆里,留下一笔遗产,才是最伟大的。这里有《保罗书信》,米尔顿的诗文,有《摩根圣经》,它们都很伟大,但在我这个搞数学的人看来,最重要的一部还是牛顿的《数学原理》。牛顿的著作是这个物理世界的代表,而你的笔记是数学抽象世界的代表,牛顿也花了很长时间来证明自己,因此我们才有义务要把这些证明出来。一旦我们成功了,我相信总有一天,这些笔记在这里会有一席之地。”

[[@刻意练习]] 中提到需要有一位教练,但是在现实中很难每一件事情都能找到指导你的人。作者提出的努马拉金方法给你提供一次对答案的机会。#card

  • 很想之前做作业,然后对答案的过程。

  • 监督学习

  • 假设,建模,求解,优化


ppxu@如何高效地读完一周的 CNS?

[[ppxu 讲解例子]]

如何锻炼阅读文献的能力呢?如何快速获取一篇文章的要点呢?Reference #card

  • 进入实验室的新生需要在每周一的组会上讲解上一周 CNS 杂志上跟生物医学相关的全部文献

  • 由于 Nature 是北京时间周四凌晨更新,Science 是周五凌晨,而 Cell 是半月刊,因此对于新生而言,需要在三天左右的时间消化 10~25 篇(没有 Cell 的话 10 篇左右,有 Cell 的话再加 10~15 篇)最前沿的学术文章,并且做成 PPT 汇报。

  • 有时候新生还有课程和实验,因此时间就显得更紧张,进实验室的第一年,周末基本上都用来看文献了。还好 Reference 并不需要讲的很细,但也得讲成一个自圆其说的小故事。

作为直博三年级的学生,Reference 本来跟我的关系已经不大了,但是为了给新生示范一下如何讲解文献,因此我在本周的组会上汇报了上周 CNS 上的生物医学相关的全部文献,一共 28 篇。#card

  • 我自己看了 3 天(不能算高效,但在高效的路上),感觉看到缺氧,一方面是因为文章虽然都跟生物医学相关,但是涉及的领域实在千差万别,需要一定的基础知识才可以消化;另外还有部分文章真的脑洞大开,思路新奇,几乎超出了我目前的理解范畴,只能读个大概。

  • 下面我从切身的体验出发,聊一下自己的一些浅薄的想法。

  • 最后,也将我花了很多时间整理的上周的 CNS 生物医学相关的文献要点和 PPT 分享给大家。

如何快速消化一篇文献?拿到一篇文献后,不妨先问自己几个问题:#card

  • (1)这篇文章属于什么领域或方向?

  • (2)解决了什么问题?为什么这个问题这么重要?

  • (3)使用了什么方法和模型?为什么这个方法可以解决这个问题?

    • 带着问题读文献,明白每一段需要干什么
  • (4)核心结论是什么?下一步还可以怎么做?

#card 使用人为的坐标来精确定位文献在生物医学中的具体位置,久而久之,将这些散落的知识点联结起来,最后形成一张知识网络。

  • 纵向来看,生物过程包括个体层面、组织器官层面、细胞层面、分子层面以及原子层面等。

  • 横向切分,这个过程属于什么范畴,比如表观遗传学、免疫、神经生物学、发育生物学等。

  • 现阶段的文献,分子层面的机制偏多。由中心法则延展开来,分子无非 DNA、RNA 和蛋白质,这些分子的排列组合起来参与一些特定的过程,比如 DNA 复制、DNA 转录、RNA 翻译、RNA 修饰、组蛋白修饰、非组蛋白修饰等等。当然还有染色体整体层面出发的,比如染色体高级结构调控等。

积累细分领域知识:每次读论文发现一个新的研究方向或主题,创建一个对应的文件夹#card

  • 归类的过程也是慢慢消化和整理的过程。尽量让读过的文献逐渐融入自己的知识体系,而不是读过就读过了。

  • 当文献是孤零零时,你很难记住成千上万个孤零零的知识点;但是一旦成为体系,就更容易记住了,此为内化。

  • 比如很火热的【RNA修饰&二级结构&编辑】二级目录

(2)这篇解决了什么问题?为什么这个问题这么重要?#card

  • 我老板经常在组会上问我们的一个问题是,这篇文章为什么能发在 CNS 上?如果这个问题能回答清楚,其实文章基本上也就消化了。

  • 能发在 CNS 上的研究每一篇都有故事,我们需要挖掘这背后的故事:有的是困扰学术界几十年的难题,今天终于获得解答,比如施一公他们关于剪接体结构的解析;有的是颠覆人们认知的新发现,比如此前人们认为,脑中没有淋巴管,但 2018 年 8 月 9 日的 Nature 封面文章就报道,在大脑中清楚地观察到了脑膜淋巴管;还有的是让几十年的争论尘埃落定,比如终于发现了引力波。

  • 在文章的第一句,作者通常就会说明自己为什么要做这个研究,以及这个研究为什么这么重要;而且会在文章的第一段或者第一部分进行详细的说明,多花时间思考这个问题远胜于你花时间弄懂每一幅图说什么。

(3)这篇文章使用了什么方法和模型?为什么这个方法可以解决这个问题?#card

  • 对于 Nature 的 Articles、Science 的 Research Articles 以及 Cell,每一部分都有小标题,快速浏览后,我们可以知道这篇文章分为几个部分,每个部分作者打算做什么工作。对于 Nature 的 Letters 和 Science 的 Reports,不妨先看每一段的第一句话,就可以知道该部分要做什么。

(4)核心结论是什么?下一步还可以怎么做? #card

  • 文章的核心结果都在图里面,这个时候可以去看图了,这个图证明了什么,为什么能支持这个结论。如果你是这个研究方向的,那么最后很有必要看 Discussion 部分,作者会对文章的核心观点做一个回顾,并且会讨论下一步的计划,具有一定的启发性。

  • 其实哪怕我现在博士四年级,我也依然会碰到自己此前从来没接触的研究主题,但相比一年级,这种事情发生的概率要低得多。万一碰到自己不熟悉的,尤其是方法学的开发,会非常晦涩难懂,而且尤其对于* Nature* 和 Science,其篇幅是有规定的,因此要求作者极度凝练。碰到这种情况,不妨把摘要和 Introduction 部分多读几遍,读不懂反复读,亲测非常有效。书读百遍其义自见,文献亦然,古人诚不我欺也。

在文献阅读过程中,留意科学史,注意科学问题的延续性。比如这几年非常火热的相分离(phase seperation),#card

  • 你自己画一条时间线,哪一年谁最先发现这个现象,哪一年谁做出了关键突破。

  • 自己尝试写一个简短的综述,熟悉经典的工作以及行业的大牛,今后读起来会觉得:哦,这篇文章的作者是“老熟人”,他之前做出过什么重要的工作……


吴恩达关于如何阅读论文建议

Stanford CS230: Deep Learning | Autumn 2018 | Lecture 8 - Career Advice / Reading Research Papers - YouTube

主题阅读

  • 收集资料

  • 列出一个 list ,标注阅读进度。挑选有价值的论文阅读。

  • 5-20 初步了解

  • 50-100 很好理解前沿工作

如何阅读论文

多遍阅读策略

  • 第一遍 :<-> 标题,摘要,图片

  • 第二遍 :<-> 简介、结论、图片相关材料

  • 第三遍 :<-> 进入论文主体部分,但是可以跳过数学,明白每个参数的含义。

  • 第四遍 :<-> 阅读整篇文章,跳过没意义的部分(内容过时,没有火起来过)。
    阅读时思考的问题

    1. 作者试图解决什么问题?
    1. 研究方法的关键是什么?(最具有开创性)
    1. 哪些东西可以为你所用?
    1. 有哪些参考文献可以继续跟进?

读论文的延续性

  • 在接下来一年保证每周读两篇文章比在一个月集中阅读50篇就更加行之有效。

How You Should Read Research Papers According To Andrew Ng (Stanford Deep Learning Lectures) | by Richmond Alake | Jul, 2020 | Towards Data Science

  • In your first pass, start with reading the following sections within the paper: title, abstract and figures.

  • The second pass entails you reading the following sections: introduction, conclusion, another pass through figures and scan through the rest of the content.

  • The third pass of the paper involves reading the whole sections within the paper but skipping any complicated maths or technique formulations that might be alien to you. During this pass, you can also skip any terms and terminologies that you do not understand or aren’t familiar.

  • Those conducting in-depth research into a domain can take a few more passes. These additional passes will mainly be focused on an understanding of the maths, techniques and unknown terminologies presented within the paper.


如何读论文【论文精读】

论文基本结构

  • 1.title

  • 2.abstract

  • 3.introduction

  • 4.method

  • 5.experiments

  • 6.conclusion

三遍法

  • 第一遍:标题(1)、摘要(2)、结论(6)。可以看一看方法和实验部分重要的图和表。这样可以花费十几分钟时间了解到论文是否适合你的研究方向。

  • 第二遍:确定论文值得读之后,可以快速的把整个论文过一遍,不需要知道所有的细节,需要了解重要的图和表,知道每一个部分在干什么,圈出相关文献。觉得文章太难,可以读引用的文献。

  • 第三遍:提出什么问题,用什么方法来解决这个问题。实验是怎么做的。合上文章,回忆每一个部分在讲什么。

如何找论文

  • 明确阅读论文的目标(学习、寻找方向)

  • 按主题整理论文(相同主题放在同一个笔记中,标记论文引用数、重点图片)

  • 使用图形化工具梳理论文的发展(一句话概况新的论文在旧的基础上提出哪一些改进)

  • 粘贴论文链接,通过脚本自动化下载论文以及提取元信息

文献管理与下载 python 脚本 https://github.com/Psycoy/EasyLiterature [[2023/10/30]]


怎么样读文献才比较高效

反复做一件事,机会成本太高。

每星期阅读三篇

记录什么

  • 文献的基本信息(期刊、年限、作者);

  • 重要结论

  • 重点公式

  • 重点图片

  • 个人收获

  • 存在的问题及如何解决


戴晓天论文笔记模板

阅读时整理、记录作者的思想和结论。做好标签和分类

维护核心文献列表

论文笔记框架

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# {Title}(文章标题)
{Year}, {Authors}, {Journal Name}
{引用格式}

## Summary

写完笔记之后最后填,概述文章的内容,以后查阅笔记的时候先看这一段。注:写文章summary切记需要通过自己的思考,用自己的语言描述。忌讳直接Ctrl + c原文。

## Research Objective(s)

作者的研究目标是什么?

## Background / Problem Statement

研究的背景以及问题陈述:作者需要解决的问题是什么?

## Method(s)

作者解决问题的方法/算法是什么?是否基于前人的方法?基于了哪些?

## Evaluation

作者如何评估自己的方法?实验的setup是什么样的?感兴趣实验数据和结果有哪些?有没有问题或者可以借鉴的地方?

## Conclusion

作者给出了哪些结论?哪些是strong conclusions, 哪些又是weak的conclusions(即作者并没有通过实验提供evidence,只在discussion中提到;或实验的数据并没有给出充分的evidence)?

## Notes

(optional) 不在以上列表中,但需要特别记录的笔记。

## References

(optional) 列出相关性高的文献,以便之后可以继续track下去。

例子


知识管理带动文献阅读

另外一篇 一种基于 Obsidian 的科研工作流(研究生版) - 知乎 (zhihu.com)

  • 记录闪念

研究生论文阅读方法(包含泛读、略读、精读、深读)_Qiuf0812的博客-CSDN博客

论文笔记模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
---
title: "{{title}}"
authors: {{authorString}}
year: {{year}}
from: {{containerTitle}}
tags:
date created:
date modified:
---

# 附件一:文献阅读模板

阅读状态: 泛读/略读/精读/深读
PDF Link:

## 主要贡献

写完笔记之后最后填,概述文章的内容,以后查阅笔记的时候先看这一段。注:写文章summary切记需要通过自己的思考,用自己的语言描述。忌讳直接Ctrl + c原文。
### 解决了什么问题?

### 主要创新点在哪里?

## Abstract

{{abstract}}

## Conclusion

## 阅读目的

- [ ] 写文献综述、查资料
- [ ] 了解新领域
- [ ] 训练提升学术能力
- [ ] 借鉴文章具体方法
- [ ] 回答下列问题:

## 作者的写作目的

- [ ] 总结其他研究
- [ ] 建议未来方向
- [ ] 报告新发现
- [ ] 发展理论/算法
- [ ] 表达特别的观点

## Motivation

作者的研究目标是什么?
关于这个问题,其它学者提出了哪几类的解决方案,有何缺陷?
## Background

作者需要解决的问题是什么?
## Method(s)

## Evaluation

作者如何评估自己的方法?
实验的setup是什么样的?
感兴趣实验数据和结果有哪些?
有没有问题或者可以借鉴的地方?
从结果(含曲线)上看,作者是如何有力地证明他解决了问题?
## Structure

本文的结构怎样?对你写文章有什么参考作用?
## 阅读笔记

## 阅读挑战

这篇论文的缺陷在哪儿?
尝试一下,在你所阅读的论文与现实生活之间建立物理与逻辑联系,找出一个可以拓展的点?
对于作者提出的解决方法,你有何看法和建议
## 对我有什么用

回答了我为什么要读的问题了吗?
同意/反对
准备正面/负面的引用吗?
准备深度的讨论吗?
## 改进思路

## 全文翻译

## Reference

(optional) 列出相关性高的文献,以便之后可以继续track下去。

[[See Also]]


@科学研究与论文写作

[[Attachments]]

选题工作步骤

  • 同义词库的构造
    ls-type:: annotation
    hl-page:: 17

  • 检索式的构造
    ls-type:: annotation
    hl-page:: 17

  • 知识库的建立
    ls-type:: annotation
    hl-page:: 17

  • 知识库的更新和完善
    ls-type:: annotation
    hl-page:: 18

[[图片/文字切块-归纳-重组阅读法]]

  • [:span]
    ls-type:: annotation
    hl-page:: 36

  • 1 号文档:形成初步框架

    • 将这些文献中的图片批量地按顺序提取出来到一个文档中
      ls-type:: annotation
      hl-page:: 33

      • 这些图片后期还会做归纳分类,打乱顺序,因此提取图片过程中还要做好索引,以便后期也能知道这些图片是来自什么文献的
        ls-type:: annotation
        hl-page:: 33
    • ,通过浏览这些图片,可以快速了解如下信息:本文做的是什么体系?创新点或者贡献在什么地方 ?研究了哪些内容?采用了哪些研究方法?得到了什么结论?还有哪些值得进一步研究的地方
      ls-type:: annotation
      hl-page:: 33

      • 如果我们来设计实验的话,大致应该如何设计?如果我们来撰写论文的话,应该如何编排图表
        ls-type:: annotation
        hl-page:: 33
  • 2号文档:集中浏览

    • 将同一类型的图片都归纳整合在这个文档中,便于我们迅速对比和浏览同类图片,快速获得感兴趣的信息
      ls-type:: annotation
      hl-page:: 35