最优化理论与方法¶
课程总览。一句话定位：研究"如何在给定目标函数下，从备选方案中系统地找出最优解"的理论与算法，本课程聚焦无约束的非线性优化——从最优性条件出发，依次建立一维搜索、梯度方法、牛顿法等经典迭代算法。
内容体系对应教材 Chong & Żak《最优化导论》（An Introduction to Optimization）前半部分，但本 wiki 按主题重组、自成一体，可脱离教材直接学习。
这门课在学什么¶
无论工程还是经济，优化是一切决策问题的核心：决策就是在备选方案中做选择，衡量方案好坏的标准是目标函数（性能指标），优化理论与方法就是根据目标函数选出最佳方案。
本课程把各种提法（求极大/极小、有无约束）统一为标准形式：
\[
\begin{aligned}
\min_{\boldsymbol{x} \in \mathbb{R}^n}\ & f(\boldsymbol{x}) \\
\text{s.t.}\ & g_i(\boldsymbol{x}) \le 0, \quad i \in \mathbb{I} = \{1, \dots, m\} \\
& h_j(\boldsymbol{x}) = 0, \quad j \in \mathbb{E} = \{1, \dots, p\}
\end{aligned}
\]
其中 \(f\) 称为目标函数，\(g_i\)（不等式）和 \(h_j\)（等式）称为约束方程。极大化问题取 \(-f\) 即可转为极小化。
按两条轴线给优化方法分类：
| 分类轴 | 类别 |
|---|---|
| 有无约束 | 无约束优化 / 有约束优化 |
| 目标函数与约束的类型 | 线性规划 / 非线性规划 |
线性规划（目标与约束全为线性）在运筹学中系统讲授；本课程的主体是非线性问题，且以无约束情形为核心。
建模示例：供电站选址
供电站直接向 \(m\) 个用户供电，要选择站址 \((x, y)\) 使电线总长最短。用户坐标为 \((x_\mu, y_\mu)\)，则目标为
\[
d(x, y) = \sum_{\mu=1}^{m} \sqrt{(x - x_\mu)^2 + (y - y_\mu)^2} \longrightarrow \min_{x,\, y}
\]
这是一个典型的无约束非线性优化问题：目标函数光滑但驻点没有解析解，必须依靠本课程的迭代算法数值求解。
内容地图¶
| 主题 | 内容 | 对应课件 | 状态 |
|---|---|---|---|
| 数学预备知识 | 记法与证明方法、向量与矩阵、线性变换与二次型、凸集等几何概念、多元微积分（梯度 / 泰勒展开），速查式整理 | Ch1–Ch5 | ✅ 已上线 |
| 无约束优化的最优性条件 | 局部极小点、可行方向与方向导数、FONC / SONC / SOSC | Ch6 | ✅ 已上线 |
| 一维搜索方法 | 黄金分割、斐波那契、二分、牛顿法、割线法、划界法、非精确步长条件 | Ch7 | ✅ 已上线 |
| 梯度方法 | 最速下降法、收敛性与收敛速度分析、条件数与收敛阶 | Ch8 | ✅ 已上线 |
| 牛顿法 | 牛顿法及其性质、Levenberg–Marquardt 修正、非线性最小二乘 | Ch9 | ✅ 已上线 |
课程大纲中还包括共轭方向法与拟牛顿法，暂无对应课件，待后续补充。
课程信息¶
- 学时 / 学分：48 学时（全理论），3 学分
- 成绩构成：课堂表现 40% + 终结性考试（闭卷）60%
- 先修课程：微积分、线性代数（对应内容已浓缩进数学预备知识）
与相邻课程的边界¶
- 运筹学：以线性模型为主（LP、整数规划、网络流），重在建模与专用算法；本课程以非线性为主，重在通用迭代算法及其收敛理论。
- 机器学习 / 深度学习：梯度下降、牛顿类方法是其训练算法的数学根基，本课程是这些课的理论先修。