👩💻 Join our community of thousands of amazing developers!
之前尝试实现图形学一些论文的时候用到过最小二乘法，不过之前是从微积分的角度理解的。今年学了线性代数的课，发现这个东西也可以用线性代数的概念解释，并且更加直观（有几何角度的理解），所以准备用这篇文章记录一下最小二乘法的两种理解方式。开始之前先吐槽一下这个东西的名字 “最小二乘”。就感觉很奇怪，最小化误差的平方为什么叫二乘呢？嗯。。。查了一下发现是从日语翻译过来的，那我只能说这个翻译水平是有点高的。。。虽然我很不想用这个迷惑的名字，但是因为都这么用的，那也没办法了。问题的定义学习最小二乘法之前先得理解这个算法在尝试解决什么。最小二乘法最常见的用途是用一个函数拟合数据，进而用这个函数来预测数据的趋势。为了拟合数据我们就需要用数学的方法来定义怎样的拟合是好的，然后我们尽量一个函数更好的拟合数据。这里我们假设有 mmm 个数据点 (xi,yi) i∈{0,1,⋯ ,m}(x_i, y_i) \ \ i \in \{0, 1, \cdots, m\}(xi,yi) i∈{0,1,⋯,m}。然后有一个函数 f(x)f(x)f(x) 用于拟合这些数据点。我们定义单个点的误差为：si=f(xi)...