当前位置:文档之家› 数 学 家 的 故 事 简 直 惊 呆 了

数 学 家 的 故 事 简 直 惊 呆 了

高中毕业后的这些年(续)本篇文章想要说明的是数学并非认识世界的唯一途径,即使数学水平不高的你同样也可以开展机器学习方面的工作和研究。

但是不可否认数学是自然科学领域探究真理的有效工具,有了强大的数学背景知识会让你看待问题更加深刻,这就是我们经常会看到很多大牛们都是出身数学专业。

另外本文所列举的课-程比较多,要想一下子去穷尽所有课-程显然也不现实,大可不必打好所有的数学基础再去学机器学习,最好的做法是当你对机器学习本身的理解达到一定瓶颈的时候,你可以补一补一些相关的数学基础之后再回去看机器学习的问题也许会更快的有所突破。

所以本文针对不同学习基础的朋友们,划分初,中,高三个学习阶段,供大家在学习中进一步去取舍。

首先对人工智能、机器学习一个综述:大话“人工智能、数据科学、机器学习”--综述 - 知乎专栏:笼统地说,原理和基础都在数学这边,当然有很多偏应用和软件使用的技术,例如“深度学习调参”等,这些报个培训速成班就能学会的技术含量不那么高的东西,不在讨论范围内。

这里要讨论的,是如何系统的学习,然后自己能编出这机器学习或深度学习的程序或软件--我想,这才能称为一个合格的机器学习、数据科学家。

1.入门基础1. 微积分(求导,极限,极值)例如传统的BP神经网络的训练算法实际上是基于复合函数求导的链式法则,又比如目前多数的监督学习训练算法都基于极大似然估计,而极大似然估计的求解往往涉及求导,求极值的内容。

2. 线性代数(矩阵表示、矩阵运算、特征根、特征向量)是基础中的基础,主成分分析(PCA)、奇异值分解(SVD)、矩阵的特征分解、LU 分解、QR 分解、对称矩阵、正交化和正交归一化、矩阵运算、投影、特征值和特征向量、向量空间和范数(Norms),这些都是理解机器学习中基本概念的基础。

某篇图像分割1w+引用的神文核心思想便就求解构造矩阵的特征向量。

国内的线性代数教材偏重于计算而忽视了线性空间,特征值等基本概念阐述。

我个人也是在接触机器学习的内容后发现自己的线性代数基础并不牢固,下决心恶补线性代数,下面我推荐几个课-程:3. 数据处理当然需要编程了,因此C-C++-Python任选一门(推荐Python,因为目前很多库和Library都是用Python封装),数据结构可以学学,让你编程更顺手更高效,但是编程不是数据处理的核心。

熟练使用Matlab或者Python调用opencv库是必要条件,但是again他们只是工具,业余时间自学,多练练就没问题。

有同学问用R行不行,补充一点,用什么编程语言很大部分取决于你的核心算法会调用什么已有的库函数,比如楼主的科研里面核心算法往往是MIP(混合整数规划)问题需要调用Cplex 或Gurobi库函数,因此C-C++-Python-Java这些和Cplex接口良好的语言都可以拿来用,这时候R就别想了。

(更新:最新Gurobi版本支持R) 另外虽然图像处理界一些open-source的code都用C++写的,但是鉴于使用方便都会提供Python的接口,因此需要用到这些code的话,用Python调用比较方便;但是,如果是高阶骨灰级玩家,需要修改甚至自己写源代码,那么还是推荐C-C++,因为他们的速度最快。

我个人用的比较多的是C++和Python,因此下面推荐二个课-程:4. 算法(算法复杂度)。

通常高校都会有算法类的课-程,会概述各类算法的基础和应用,其中包括:精确算法、近似算法、启发式算法、演化算法、递归算法、贪婪算法等待,还有各类优化算法。

这部分内容很多会和数据结构相互关联。

算法非常核心,想必大家都听说过算法工程师这个职位。

关于数学模型和算法的区别、联系,参见:【学界】整数规划精确算法-近似算法-(元)启发算法-神经网络方反向传播等算法的区别与关联2.中级教-程1. 概率论+统计(很多数据分析建模基于统计模型)、统计推断、随机过程。

可以毫不夸张的说,概率论+统计是机器学习的核心数学理论,前面提到的微积分和线性代数实际上是扮演打工仔的角色。

进一步说大多数情况下,我们会依据概率论+统计推到出一个机器学习模型或者算法,而最终的计算过程往往要依赖微积分和线性代数。

所以如果你仅仅是实现一个机器学习算法,那么掌握初级教-程里边提到的微积分和线性代数就足够了,如果你想进一步探究机器学习算法为什么是这样的,你想解释机器学习模型为什么好用或者不好用,就需要概率论+统计的知识。

实话说概率统计的课-程和教材看过不少,至今对概率统计的理解仍然不够。

相信绝大多数工科生在本科都学过概率论与数理统计这门课,但是很多教材未能体现出概率真正的思想,名为概率论实际上改名叫做“各种概率分布的介绍”更为妥当,基本上这类教材的节奏都一样先介绍一种分布,然后开始求期望,求方差,求条件分布,各种微积分或组合数的运算啊。

经过多年的摸爬滚打的经验,我推荐下面两门课-程:2. 线性规划+凸优化(或者只学一门叫Numerical optimization,统计、机器学习到最后就是求解一个优化问题)、非线性规划等。

个人觉得机器学习里边最常用到的优化内容都是属于Numerical optimization 和凸优化的,所以各推荐一门课-程学习。

3. 数值计算、数值线代等当年我是在数学系学的这门课,主要是偏微分方程的数值解。

但我觉得其开篇讲的数值计算的一些numerical issue更为重要,会颠覆一个数学系出身小朋友的三观。

(原来理论和现实差距可以这么大!) Conditional number, ill-conditioned problem,会让你以后的编程多留个心眼。

@留德华叫兽恭喜你,到这里,你就可以无压力地学习Machine Learning这门课了(其实机器学习,通篇都是在讲用一些统计和优化来做clustering 和classification这俩个人工智能最常见的应用)。

并且你就会发现,ML课中间会穿插着很多其他课的内容。

恩,知识总是相通的嘛,特别是这些跨专业的新兴学科,都是在以往学科的基础上由社会需求发展而来。

到这里,其实你已经能看懂并且自己可以编写机器学习里面很多经典案例的算法了,比如regression,clustering,outlier detection。

运筹学(最优化理论)如何入门? - 知乎学到Mid-level,就已经具备绝大部分理论基础了。

然后做几个实际项目,就能上手然后就可以“吹嘘”自己是搞机器学习的,就能找到一份工作了。

但是要读Phd搞机器学习的科研,那么高阶课-程必不可少,而且同一个topic你需要上好几门课,并且你博士的课题,很可能只是一本书中一个章节里面一小节里讲的算法,去改进他。

比如,楼主的博士课题就是mixed linear programming + discrete graphical models + markov random fields +regression + clustering + segmentation。

3.高阶课-程再高阶的课-程,就是比较specific的课-程了,可以看你做的项目或者以后的concentration再选择选修,比如:Probabilistic Graphical Models(概率图模型), Integer Programming(整数规划),计算机视觉,模式识别,视频追踪,医学图像处理,增强学习,深度学习, 神经网络,自然语言处理,网络信息安全,等等等等。

深度学习:目前非常火,打败了非常多几十年积累起来的经典方法。

增强学习:也很火,游戏AI、自动驾驶、机器人等等,它都是核心。

概率图模型:深度学习之前非常popular的“学习”方法,有严格的数学模型和优美的算法,虽然目前被前俩者盖过了风头,但是依然有它的立足之处。

什么?你不知道最近用PGM发了篇Nature,打败了CNN?快看下面:Robin Shen:如何评价 Vicarious 在 Science 上提出基于概率图模型(PGM)的 RCN 模型?再比如有用偏微分方程做图像处理的(比较小众),那么这时候你肯定要去学一下偏微分方程了,大都是以科研为主导的。

科研嘛,为了发文章,就是要尝试前人没尝试过的方法,万一效果不错呢,就是一篇好paper了,对吧。

附上顶尖会议排名,共勉:互联网教-学资-源书目没有特别推荐的,但是建议看英文原版。

注:以下再推荐一些视频,仅受之以渔,多为graduate course相比古老的组合学,1965年诞生的模糊数学可以说是年轻的。

按照经典集合的概念,每一个集合必须由确定的元素构成,元素之于集合的隶属关系是明确的,这一性质可以用特征函数μA(x)来表示:public void synchronized run(){足足有20分钟,怀尔斯呆望着那个结果不敢相信,然后,是一种再也无事可做的巨大失落感。

? 一百年前,专为费马大定理而设的沃尔夫斯凯尔奖将截止日期定为2007年9月13日。

就像所有的惊险片一样,炸弹在即将起爆的最后一刻,被拆除了。

当时我还没有结婚,对怎么带孩子也没有概念。

刚开始,在我眼里德国人带孩子特别随意,孩子爱爬哪爬哪,爱吃土吃土,完全不管。

但这些都是表面的,后来我对德国的家庭教育改变了看法。

一双未洗的普通的运动鞋;那甚至不是一双品牌球鞋,大卫将它拿出来的时候,说什么也不让崔永元碰一下,他说:"这鞋很臭的!"相比于革命的大潮流,拉瓦锡不过是个小人物。

在明知道必死的情况下,倘如换做张寿武的主要研究领域包括数论与代数几何,他于1996年证明了波戈莫洛夫猜想(Bogomolov conjecture)。

此后他又推广了格罗斯-乍基亚公式(Gross-Zagier theorem),被称为“格罗斯-乍基亚-张公式”。

好多了,我们将?hash?字段从 320 比特减少到 80 比特,减少了75%的空间利用。

遗忘门舍弃cell状态的信息(0代表完全遗忘,1代表完全记住),因此我们猜想:遗忘门在需要准确记忆什么时会完全激活,而当不再需要已记住的信息时则会关闭。

在“蛋白质结构预测奥运会”CASP比赛中,力压其他97个参赛者。

《卫报》报道称,AlphaFold预测出了43种蛋白质中25种蛋白质的最精确结构。

在同一类别中排名第二的队伍,只预测出了3种。

相关主题