机器学习基础系列——数学基础：线性代数

机器学习基础系列

• 学习资源
• 核心概念
• 线性代数基础
• 概率统计基础
• 微积分基础
• 损失函数与优化
• 线性回归
• 多项式回归与正则化
• 逻辑回归
• 决策树
• 随机森林
• 支持向量机
• K近邻算法
• 朴素贝叶斯
• 聚类算法
• 降维技术
• 模型评估指标
• 交叉验证
• 过拟合与欠拟合
• 超参数调优
• 神经网络基础
• 前馈神经网络
• 激活函数
• 反向传播
• 优化算法详解
• 批归一化
• Dropout详解
• 卷积神经网络
• 循环神经网络
• 注意力机制
• Transformer
• 迁移学习
• 实战项目
• 集成学习
• XGBoost与LightGBM
• 自编码器
• 生成对抗网络
• 图神经网络
• 混合专家模型
• 强化学习基础
• 自监督学习
• 知识蒸馏
• LoRA与参数高效微调
• 模型量化与剪枝

import numpy as np

# 向量定义
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

# 加法
c = a + b  # [5, 7, 9]

# 标量乘法
d = 2 * a  # [2, 4, 6]

# 点积
dot_product = np.dot(a, b)  # 1*4 + 2*5 + 3*6 = 32

# 或使用 @ 运算符
dot_product = a @ b

x = np.array([3, -4])

l1_norm = np.linalg.norm(x, ord=1)   # 7
l2_norm = np.linalg.norm(x, ord=2)   # 5
linf_norm = np.linalg.norm(x, ord=np.inf)  # 4

A = np.array([[1, 2], [3, 4]])
B = np.array([[5, 6], [7, 8]])

# 矩阵乘法
C = A @ B  # 或 np.dot(A, B)
# [[19, 22],
#  [43, 50]]

# 逐元素乘法（Hadamard积）
D = A * B
# [[ 5, 12],
#  [21, 32]]

A_T = A.T
# [[1, 3],
#  [2, 4]]

# 单位矩阵
I = np.eye(3)

# 对角矩阵
D = np.diag([1, 2, 3])

# 检查对称性
A = np.array([[1, 2], [2, 1]])
is_symmetric = np.allclose(A, A.T)  # True

A = np.array([[4, 2], [1, 3]])

# 特征值分解
eigenvalues, eigenvectors = np.linalg.eig(A)

print(f"特征值: {eigenvalues}")      # [5., 2.]
print(f"特征向量:\n{eigenvectors}")

A = np.array([[1, 2], [3, 4], [5, 6]])

U, S, Vt = np.linalg.svd(A)

print(f"U shape: {U.shape}")   # (3, 3)
print(f"S: {S}")               # 奇异值
print(f"Vt shape: {Vt.shape}") # (2, 2)

# 重构矩阵
A_reconstructed = U[:, :2] @ np.diag(S) @ Vt

A = np.array([[2, 1], [1, 3]])
b = np.array([4, 5])

# 精确解
x = np.linalg.solve(A, b)
print(f"解: {x}")  # [1., 1.33...]

# 最小二乘解（超定方程组）
A = np.array([[1, 1], [2, 1], [3, 1]])
b = np.array([2, 3, 4])
x, residuals, rank, s = np.linalg.lstsq(A, b, rcond=None)

A = np.array([[1, 2], [3, 4]])

# 计算逆矩阵
A_inv = np.linalg.inv(A)

# 验证
print(A @ A_inv)  # 约等于单位矩阵

# 判断是否可逆（行列式不为0）
det = np.linalg.det(A)
print(f"行列式: {det}")  # -2.0

# 生成数据
X = np.array([[1, 1], [1, 2], [1, 3], [1, 4]])  # 含偏置项
y = np.array([2, 4, 5, 4])

# 正规方程求解
w = np.linalg.inv(X.T @ X) @ X.T @ y
print(f"权重: {w}")  # [偏置, 斜率]

# 数据矩阵
X = np.array([[1, 2], [3, 4], [5, 6]])

# 计算协方差矩阵
cov_matrix = np.cov(X.T)
print(f"协方差矩阵:\n{cov_matrix}")