“回归”一词的由来
在统计学中，相关与回归是经典的内容，也是应用最为广泛的统计方法之一。
但是，国内教材却很少讲到回归方法的起源。
英国著名遗传学家弗朗西斯·高尔顿爵士（Sir Francis Galton,1822-1911）在子女与父母相像程度遗传学研究方面，取得了重要进展。
高尔顿的学生卡尔·皮尔逊（Karl Pearson,1857-1936）在继续这一遗传学研究的过程中，测量了1078个父亲及其成年儿子的身高。
他们之间的数量关系见图1（and ，“On the laws of inheritance in man”Biometrika，partii（1903））
图1 1 078对父子身高的散点图
图中每一个点代表一对父子的身高关系。
横轴的X坐标是父亲的身高，纵轴的Y坐标给出的是儿子的身高。
我们看到，多数点子位于角平分斜线的两侧椭圆形面积之内，落在斜线上的点子极少，即儿子与父亲身高完全相同的极少。
由点子落在斜线周围还说明，高个
子的父亲有着较高身材的儿子，而矮个子父亲的儿子身材也比较矮。
同时，我们也看到一些远离斜线的点子，这些点子反映的是父亲的身高与儿子的身高相差甚远的情况。
比如高个子的父亲有矮儿子的情况，或者矮父亲有高个儿子的情况。
图1中散点图给出父子身高的关系图，但图中给出的父亲身高和儿子身高两个变量的关系还是比较直观的，相关系数r就是对两个变量间线性相关关系紧密程度的度量。
相关系数r的计算公式为：
式中分子部分为X和Y两具变量的协方差，分母部分是X和Y 两个变量标准差的乘积。
由于协方差是X和Y两个变量与其均值离差乘积的数学期望，它受X和Y两个变量度量单位大小的影响，因而在分母上除以X和Y两个变量的标准差，就将相关系数r转化成从-1到1之间的相对数值。
实际数据计算的结果为r=，表明高个子的父亲会有较高的儿子，矮身材的父亲其儿子身体也不会很高，但这一正相关的关系并不十分明显。
那么，父子身高之间有什么规律呢？经过对1078对父子身高数据的计算，得到：
父亲的平均身高=英寸≈68英寸，标准差S X=≈英寸
儿子的平均身高=英寸≈69英寸，标准差S Y=≈英寸
（1英寸=厘米）我们看到，儿子的平均身高比父亲高一英寸，表明下一代的平均身高比上一代要高。
这样，我们会自然地猜测72英
寸的父亲平均会有73英寸的儿子；64英寸的父亲平均会有65英寸的儿子，等等。
那我们看一看图2中的情况：
图2 父子身高回归效应的图示
图2中斜虚线是父子平均身高推测的关系线，即58英寸父亲有59英寸的儿子，59英寸的父亲有60英寸的儿子，等等。
在父亲身高64英寸和72英寸处的两个条形虚线，表明64英寸高父亲和72英寸高父亲的儿子们身高的分布情况。
首先来看64英寸高父亲的儿子们身高分布。
我们看到，在这一条线虚线柱内的点子多数分布在斜虚线的上方，表明64英寸高父亲的儿子们的身高多数高于65英寸，即较矮父亲的儿子们多数比父亲身材要高。
接下来再看72英寸父亲的儿子们身高分布，在这条虚线柱内的点了多数分布在斜虚线的下方，表明72英寸高父亲的儿子们的身高多数低于73英寸，甚至多数低于与父亲同样高度的72英寸，即较高父亲的儿子们多数比父亲身材要矮。
高尔顿和波尔逊把这种现象称为“回归效应”，即回归到一般高度的效应。
图2中的实线即回归直线。
这条回归线的含义是：对于每一身高父亲所对应的虚线柱内若干儿子身高点子的分布，回归直线是从这些点子中间穿过的。
换句话说，回归直线上的点是当给定某一X i值时（即父亲身高值），对应的若干Y i值（即儿子身高值）与之（直线上点Y值记为值）离差平方和最小的直线，即我们的回归直线是求
要对上式求最小，微积分的知识告诉我们要求其偏导数并令其为零。
即：
整理这一联立方程得到
由于已知r=，S X=，S Y=，则
则
父子身高的回归方程为
该回归方程就是图2中的回归线（实线）。
当X1=58时，=；当X2=64时，=。
当X3=72时，=。
这些回归方程上的值实际上是当X i确定后，若干Y i的平均值。
这一回归直线和回归方程表明，矮个子父亲的儿子们平均身高会比父辈低一些，高个子父亲的儿子们平均身高会比父辈低一些，即儿子们的身高会向平均值回归。
我们的读者必然会问，现代人一代比一代高，为什么高个子父亲的儿子们平均身高要比父辈低呢？细心的读者不难发现，当时高尔顿和皮尔逊做研究时只观察了父亲和儿子的身高，并没有考虑母亲的身高。
实际上，高个子父亲的太太可能是较高的女性，也可能是较低的女性。
反之，矮个子父亲的太太可能是矮个子，也可能是较高的身材。
而儿子的身高既受父亲遗传的影响，也受母亲遗传的影响，这就是为什么儿子们身高会发生“回归”的原因。
类似的回归现象还有很多，比如我们连续观察一群学生春秋两季的考试成绩，会发现春季考试得高分的学生在秋季考试中虽然平均分还比较高，但平均分会有所降低。
反之，春季考试分数最低的学生们秋季的平均分会有所提高。
因为在考试中除了学生水平的高低这一主要因素影响之外，临场发挥等偶然因素也会起到一定的作用。
我们在应用回归方程时若能注意到回归效应的特点，会帮助我们更好地分析和解决问题。