花椒去哪儿

本文整理 44 处重点知识，按“定义 → 条件或意义 → 例子 → 误区”重新分组，方便集中复习。

一、概率论与统计基础

1. 大数定律

当样本独立同分布且期望存在等条件成立时，样本量越大，样本均值越接近总体均值。

业务意义：抽取足够多用户后，样本人均消费会逐渐稳定在总体人均消费附近，这是通过抽样辅助业务决策的理论基础。
注意：大样本只能降低随机误差，不能修复选择偏差、错误埋点或样本非独立问题。

2. 中心极限定理

在独立同分布、方差有限等条件下，样本均值经过标准化后会随样本量增加而近似服从正态分布。

业务意义：即使原始消费额高度右偏，样本均值仍常可用正态近似构造置信区间。
注意：它描述的是样本均值的抽样分布，不是说原始数据会变成正态分布。

3. 贝叶斯公式

贝叶斯公式本质上是用新证据更新已有判断：

P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}

例子：规则对欺诈订单的命中率很高，不等于被命中的订单大概率是欺诈，还要考虑欺诈的基础发生率。
考点：先验、似然、后验和基础率谬误。

4. 全概率公式

若 $B_1,\ldots,B_k$ 构成互斥完备划分，则：

P(A)=\sum_i P(A\mid B_i)P(B_i)

例子：总体转化率等于各渠道转化率按渠道流量占比加权。
价值：它是指标分解与理解辛普森悖论的基础。

5. 正相关指标的组合波动

多个高波动且高度正相关的指标相加，并不会显著降低组合波动。由

Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)

可见，正协方差会增加组合方差；只有分散到低相关或负相关的变量，才更可能降低整体波动。

6. 相关系数

相关系数是标准化协方差，取值范围为 $[-1,1]$ ；Pearson 相关主要衡量线性关系。

误区：相关为 0 不代表独立；相关也不代表因果。
注意：异常值、非线性关系和样本范围限制都可能改变相关系数。

7. 常见概率分布的业务例子

是否点击可用伯努利分布建模。
100 次曝光中的点击数可用二项分布建模。
一分钟内的订单数可考虑泊松分布。

选择分布时要说明变量类型、关键假设、期望方差和适用场景，而不只是背密度函数。

8. 德摩根定律

德摩根定律描述集合或事件取补集时，交集与并集如何相互转换，也就是：交的反等于反的并，并的反等于反的交。

(A\cap B)^c=A^c\cup B^c

(A\cup B)^c=A^c\cap B^c

直观理解：“并非 A 和 B 同时发生”等价于“A 没发生或 B 没发生”；“A、B 都没发生”等价于“A 或 B 均未发生”。
注意：补集必须相对于同一个全集讨论；这里的“或”是数学中的包含性“或”，允许两种情况同时成立。

二、抽样与统计估计

9. 分层抽样

先按地区、年龄或用户等级等特征将总体分层，再从各层分别抽样。

优点：保证小规模关键群体被覆盖；当层内差异小、层间差异大时还能降低方差。
注意：汇总时应依据抽样概率使用正确权重；不要把这里的层内、层间差异与方差分析中的组内、组间方差混淆。

10. 最大似然估计（MLE）

最大似然估计选择使已经观察到的数据最可能出现的参数值。

例子： $n$ 次曝光中出现 $x$ 次点击，伯努利点击率的 MLE 为 $x/n$ 。
性质：正则条件下具有一致性、渐近正态性和渐近有效性，但小样本下可能有偏。

11. 贝叶斯估计

贝叶斯估计把参数视为随机变量，通过“后验正比于似然乘以先验”更新认知：

P(\theta\mid D)\propto P(D\mid\theta)P(\theta)

可以把整个过程记成：原来的认识 + 新观察到的证据 → 更新后的认识。

$\theta$ ：想估计的参数，例如硬币正面朝上的概率。
$D$ ：已经观察到的数据。
$P(\theta)$ ：先验分布，即看到数据前的判断。
$P(D\mid\theta)$ ：似然，即参数取某个值时出现这些数据的可能性。
$P(\theta\mid D)$ ：后验分布，即看到数据后的更新判断。

硬币例子：起初根据常识认为一枚硬币大概率公平；抛 10 次后出现 8 次正面，于是提高对“正面概率较高”的估计，但不会仅凭 10 次实验就断言概率一定是 80%。先验约束了小样本下的过度反应，数据增多后似然的影响会逐渐增强。

与频率学派估计的区别：频率学派通常把未知参数视为固定但未知的数；贝叶斯方法用概率分布描述参数的不确定性，因此能直接表达“参数更可能落在哪个范围”。

适用场景：

数据较少，但有可靠的历史经验可作为先验；
新数据持续到来，需要不断更新判断；
不只需要一个点估计，还要描述估计的不确定性。

业务例子：新频道样本很少时，以全站历史转化率作为先验，可减少 0% 或 100% 的极端估计。

注意：要说明先验选择及敏感性；贝叶斯可信区间与频率学派置信区间的解释不同。贝叶斯估计不是一次性给出答案，而是随着新证据不断更新答案。

12. 标准差与标准误

标准差描述个体观测的离散程度，标准误描述估计量在重复抽样中的波动。独立同分布时：

SE(\bar X)=\frac{s}{\sqrt n}

样本量扩大 4 倍，均值标准误约缩小一半，但个体标准差不会因此消失。
实际抽样误差：这一次估计究竟偏了多少。
抽样平均误差：估计通常会波动多大。
抽样极限误差：在指定置信水平下，用“临界值 × 抽样平均误差”得到置信区间半宽。

三、置信区间与假设检验

13. 置信区间

在重复抽样意义下，按同一方法构造的大量 95% 置信区间中，约有 95% 会覆盖真实参数。

业务意义：置信区间同时表达效应方向、大小与不确定性。
误区：频率学派中不能严格表述为“真实参数有 95% 的概率落在这一个已经算出的区间里”。
直觉：真实值像位置固定但看不见的鱼，每次抽样撒出一张位置不同的网；95% 置信水平表示长期来看约 100 张网中有 95 张能罩住鱼。

14. 假设检验

先提出原假设，再衡量当前数据与原假设的矛盾程度。

定义原假设与备择假设；
选择检验统计量；
设定显著性水平；
计算 p 值或拒绝域；
结合效应量和业务价值决策。

结论依赖样本量、模型假设和数据质量。原假设通常是希望通过证据加以反驳的基准命题。

15. p 值

p 值是在原假设成立时，观察到当前结果或更极端结果的概率。

正确理解：p 值越小，数据与原假设的矛盾越强。
误区：p 值不是原假设为真的概率，也不是结果由随机性造成的概率。

16. 第一类错误与第二类错误

第一类错误：原假设为真却被拒绝，即假阳性，概率为 $\alpha$ 。
第二类错误：原假设为假却未被拒绝，即假阴性，概率为 $\beta$ 。
统计功效： $1-\beta$ ，表示检测到真实效应的概率。
权衡：样本量固定时，降低 $\alpha$ 通常会提高 $\beta$ 。

17. 统计显著与业务显著

统计显著说明数据对“没有差异”构成较强证据；业务显著还要看提升幅度、收益、成本和风险。

例子：亿级样本中 0.01% 的提升可能统计显著，但开发成本可能远高于收益。
建议：同时报告效应量、置信区间和业务价值。

检验统计量把“样本结果与原假设的差异”除以“随机抽样通常产生的波动”，将差异换算为标准误单位：

\text{\text{检验统计量}}=\frac{\text{\text{样本估计值}}-\text{\text{原假设规定值}}}{\text{\text{样本估计值的标准误}}}

它回答的是：如果原假设成立，这次样本结果究竟有多反常？ 例如样本均值比标称值低 3 毫升，在标准误为 10 毫升时并不反常，在标准误为 0.5 毫升时却非常反常。

从统计量到 p 值：

从样本计算检验统计量；
确定原假设下它服从的理论分布；
根据备择假设确定单侧或双侧的“更极端”区域；
计算该区域的尾部概率，得到 p 值。

以单样本 t 检验为例，若 $\bar x=7.5$ 、 $\mu_0=8$ 、 $s=1$ 、 $n=25$ ，则 $SE=1/\sqrt{25}=0.2$ ， $t=(7.5-8)/0.2=-2.5$ ，自由度为 24，双侧 $p\approx0.0197$ 。正确解释是“样本均值比原假设值低 2.5 个标准误”，而不是“差异一定很大”。

为什么样本量会影响显著性：样本量增加时，标准误通常按 $1/\sqrt n$ 缩小，同样大小的实际差异会对应更极端的检验统计量。因此大样本很容易让微小差异达到统计显著，更需要同时看效应量与业务意义。

常见统计量：

$z$ ：总体标准差已知、大样本正态近似或比例检验；
$t$ ：总体标准差未知的均值检验；
$\chi^2=\sum (O-E)^2/E$ ：分类频数、拟合优度或总体方差检验；
$F=MS_{between}/MS_{within}$ ：方差分析、联合检验或嵌套模型比较。

$z$ 和 $t$ 保留差异方向； $\chi^2$ 与 $F$ 非负且通常看右尾。双侧检验在两端计算尾部概率，单侧检验只看预先规定的方向，不能看到结果后再改方向。

与临界值和置信区间的关系：在 5% 双侧标准正态检验中， $|z|>1.96$ 与 $p<0.05$ 等价；对同一模型，若原假设值不在 95% 置信区间内，也会拒绝对应的双侧原假设。

最后区分三个概念：参数描述总体，样本统计量由样本计算并估计参数，检验统计量则把样本统计量与原假设进行标准化比较。解释结果时还要结合自由度、检验方向、置信区间、效应量和业务意义。

18. t 检验

t 检验用于一个总体均值、两个独立总体均值或配对差值均值的检验。

其核心可概括为：

t=\frac{\text{\text{观察到的均值差异}}}{\text{\text{差异的标准误}}}

$|t|$ 越大，差异越难用随机抽样波动解释。原假设通常表示“没有均值差异”，p 值是在原假设成立时观察到当前或更极端 $t$ 值的概率； $p\geq0.05$ 只表示证据不足，并不证明两组完全相同。

三种常见检验：

单样本 t 检验：比较一组数据的均值与某个已知值；
独立样本 t 检验：比较两个互不相关群体的均值，无法确认方差相等时通常优先用 Welch t 检验；
配对样本 t 检验：比较同一批对象在两个时点或条件下的结果，本质上检验每一对差值的均值。

单样本例子： $n=10$ 、 $\bar x=105$ 、 $s=4$ ，检验 $\mu_0=100$ 。标准误为 $4/\sqrt{10}\approx1.265$ ，所以 $t\approx3.95$ 、自由度 $df=9$ ，双侧 $p\approx0.0033$ ，有证据认为总体均值与 100 不同。

双侧 p 值为：

p=2P(T_{df}\geq |t_{obs}|)

为什么用 t 分布：总体标准差未知时，只能用样本标准差代替，引入额外不确定性。t 分布比标准正态分布尾部更厚；自由度越小尾部越厚，自由度增大时逐渐接近标准正态分布。

使用前提：因变量为数值型；观察相互独立（配对设计除外）；数据或配对差值近似正态；不存在严重影响结果的极端异常值。

注意：统计显著不等于现实重要。除了 p 值，还应查看实际差异、置信区间、效应量与业务意义。

19. 卡方检验

卡方检验用于分类变量独立性检验或拟合优度检验。

它关注人数、次数、个数等频数，而不是均值。核心是比较观察频数 $O$ 与原假设下的期望频数 $E$ ：

\chi^2=\sum\frac{(O-E)^2}{E}

$O$ 与 $E$ 越接近， $\chi^2$ 越小；偏离越大， $\chi^2$ 越大。卡方统计量非负，因此检验使用右尾概率。

三类用途：

独立性检验：两个分类变量是否有关联，例如设备类型与是否转化；
拟合优度检验：一个分类变量的频数分布是否符合预期，例如骰子是否公平；
同质性检验：不同总体的类别分布是否相同，例如各城市支付方式分布是否一致。

独立性检验例子：200 人中，男性购买/未购买会员为 60/40，女性为 40/60。每格期望频数都是 $100\times100/200=50$ ，所以 $\chi^2=8$ ，自由度 $(2-1)(2-1)=1$ ，右尾 $p\approx0.0047$ ，说明性别与购买会员存在统计学关联。

使用条件：

输入必须是频数，而不是百分比、均值或连续测量值；
观察对象相互独立，各类别互斥；
每格期望频数最好不低于 5。较宽松的经验是至少 80% 的格子不低于 5，且没有格子低于 1；
小样本 2×2 列联表可考虑 Fisher 精确检验。

显著后还要报告关联强度，例如 Cramér's V：

V=\sqrt{\frac{\chi^2}{n\times\min(r-1,c-1)}}

卡方显著只能说明变量有关联，不能证明因果关系。

20. 方差分析（ANOVA）

方差分析用于检验三个及以上组的总体均值是否全部相等。

虽然名字叫“方差分析”，最终关心的仍是均值。它通过比较组间变异与组内变异，判断均值差异是否超出了随机波动：

F=\frac{MS_{between}}{MS_{within}}

$F$ 接近 1 时，组间差异与组内随机波动相近； $F$ 很大时，说明分组对应的均值差异相对更强。原假设为所有组均值相等，备择假设为至少一组均值不同。

为什么不反复做 t 检验：三组需要比较 3 次，每次都用 0.05 显著性水平时，至少一次假阳性的概率约为 $1-0.95^3=14.3\%$ 。ANOVA 先做一次整体检验，可避免这类错误率膨胀。

常见类型：

单因素 ANOVA：一个分类自变量；
双因素或多因素 ANOVA：检验多个因素的主效应与交互作用；
重复测量 ANOVA：同一批对象在多个时点或条件下重复测量；
Welch ANOVA：各组方差不齐时的稳健选择。

计算例子：A、B、C 三组均值分别为 80、88、72，各 5 人，总均值为 80。若 $SS_{between}=640$ 、 $SS_{within}=86$ ，则 $df_{between}=2$ 、 $df_{within}=12$ ， $MS_{between}=320$ 、 $MS_{within}\approx7.167$ ，从而 $F\approx44.65$ 、 $p<0.001$ ，有证据认为至少一组均值不同。

显著后的工作：整体显著并不说明具体哪几组不同，需要 Tukey HSD、Games–Howell 或预先计划的对比来定位差异，并控制多重比较错误率。

使用条件：因变量连续、自变量分类、观察相互独立、各组残差近似正态；传统 ANOVA 还要求方差近似相等。方差不齐时可用 Welch ANOVA，严重偏离正态或有明显异常值时可考虑 Kruskal–Wallis 检验。

还应报告效应量，如 $\eta^2=SS_{between}/SS_{total}$ 。统计显著不等于效应大；观察性数据中的显著结果也不自动具有因果含义。

四、A/B 实验与因果推断

21. 随机化单位

随机化单位是实施随机分组的最小单位，可以是用户、设备、门店、城市或社群。

例子：评估用户级功能时通常按用户随机，避免同一用户在两组之间切换。
注意：随机化单位必须与干扰范围及标准误计算相匹配。

22. SRM（样本比例失衡）

SRM 指实际分流比例显著偏离预期比例。

常见原因：分流逻辑错误、埋点丢失、过滤规则不同、客户端版本差异。
原则：出现 SRM 时先排查实验系统，不能直接解释实验效果。

23. A/A 实验

A/A 实验让两组接受完全相同的处理，用来验证随机分流、埋点、指标计算和实验平台。

预期：长期重复 A/A 实验时，约有 $\alpha$ 比例出现假阳性。
误区：一次 A/A 不显著不能证明系统绝对没有问题。

24. 实验前样本量计算

根据 MDE、显著性水平、目标功效、指标方差和分流比例确定样本量。

意义：MDE 是业务上希望稳定识别的最小效果，而不是希望实验最终得到的效果。
注意：实验还需覆盖完整周周期、延迟转化窗口和流量波动。

更一般地，样本量取决于估计目标、允许误差、置信水平、总体波动、总体规模、抽样设计与预计失访率。计算前应明确 $Z_{\alpha/2}$ 、允许误差 $d$ 、总体标准差 $\sigma$ 或预期比例 $p$ 、总体规模 $N$ 、设计效应 $DEFF$ 和无效样本率 $r$ 。

简单随机抽样：估计总体比例时，基础样本量为

n_0=\frac{Z_{\alpha/2}^2p(1-p)}{d^2}

95% 置信水平、 $p=0.5$ 、 $d=0.05$ 时， $n_0\approx384.16$ ，向上取整为 385。未知 $p$ 时取 0.5 最保守。估计总体均值时：

n_0=\left(\frac{Z_{\alpha/2}\sigma}{d}\right)^2

有限总体修正：总体规模不大、抽样比例较高时使用

n=\frac{Nn_0}{N+n_0-1}

例如 $N=1000$ 、 $n_0=385$ 时需要约 279 人；当 $n/N<5\%$ 时，修正通常影响很小。

分层抽样：按比例分配为 $n_h=nN_h/N$ ；若希望内部波动大的层获得更多样本，可用 Neyman 分配

n_h=n\frac{N_hS_h}{\sum N_hS_h}

有调查成本差异时还可按 $N_hS_h/\sqrt{c_h}$ 加权。没有可靠历史信息时，通常先按简单随机抽样计算总量，再分配到各层。

系统抽样：间隔 $k=N/n$ ，样本量通常沿用简单随机抽样公式，但总体名单不能存在与抽样间隔相似的周期性。

整群与多阶段抽样：群内对象往往相似，需要用设计效应放大样本量：

n_{cluster}=n_{SRS}\times DEFF,\qquad DEFF=1+(m-1)\rho

$m$ 为每群平均人数， $\rho$ 为群内相关系数。总样本固定时，多抽一些群、每群少抽一些人，通常更有效。多阶段抽样同样以综合设计效应修正。

PPS 与不等概率抽样：样本量先按基础公式乘设计效应；分析时使用权重 $w_i=1/\pi_i$ 。权重差异引起的设计效应可近似写为 $DEFF_w=1+CV(w)^2$ 。

非概率抽样：便利、配额与滚雪球抽样无法保证已知入样概率。增加样本只能降低随机误差，不能消除选择偏差，也不能自动赋予总体代表性。

失访修正：

n_{final}=\frac{n_{effective}}{1-r}

例如基础样本 385、整群设计中 $m=20$ 、 $\rho=0.05$ ，则 $DEFF=1.95$ ，需要约 751 个有效样本；预计 15% 无效时，需要计划抽取 $751/0.85\approx884$ 人，即至少 45 个每群 20 人的社区。

25. 新奇效应与学习效应

用户刚接触新功能时的行为可能不同于长期稳定行为。

例子：新入口刚上线时因好奇获得高点击，数周后效果衰减。
建议：实验覆盖完整业务周期，并观察处理效应随时间的变化。

26. 网络效应与干扰

一个单位接受处理后影响其他单位的结果，会违反 SUTVA 中的无干扰假设。

场景：社交网络、双边市场、内容生态。
处理：按社群、城市或市场做聚类随机，或显式建模溢出效应。

27. ITT 与实际处理效应

ITT 按最初随机分组分析，不因用户是否真正接受处理而改变分组。

价值：ITT 保留随机化产生的可比性，通常是实验主分析口径。
补充：若研究实际接受处理者的效应，需要额外假设或工具变量方法。

28. 倾向得分

倾向得分是给定协变量时个体接受处理的概率。

应用：匹配、分层、逆概率加权。
局限：只能平衡已观测混杂；还需检查重叠性、极端权重和平衡性。

29. 双重差分（DID）

DID 比较处理组与对照组在政策前后的变化差。

核心假设：如果没有处理，两组应具有平行趋势。
注意：检查提前效应、动态效应、同期政策和错位处理时间。

30. 断点回归（RDD）

当处理由运行变量是否超过阈值决定时，比较阈值附近个体以估计局部因果效应。

假设：阈值附近其他因素连续，个体不能精确操纵运行变量。
局限：估计通常只适用于阈值附近人群。

31. 工具变量（IV）

工具变量影响处理，但只通过处理影响结果，并与未观测混杂无关。

假设：相关性、独立性、排除性限制，通常还要求单调性。
注意：排除性限制通常不能只靠数据验证，结果常解释为局部平均处理效应。

32. 辛普森悖论

各分组内部的趋势一致，但汇总后的趋势可能反转。

原因：各组权重发生变化或存在混杂。
例子：各渠道转化率都下降，但高转化渠道的流量占比大幅增加，导致总体转化率反而上升。

五、回归模型

33. 条件均值

线性回归用自变量的线性组合描述因变量的条件均值。其他变量保持不变时，自变量增加一个单位，因变量的条件均值平均变化 $\beta$ 。

线性是对参数和条件均值形式的假设，不等于所有变量之间都必须呈简单直线关系。

34. OLS 基本假设

OLS 的关键条件包括：模型设定合理、误差条件均值为 0、无完全多重共线性；经典标准误还依赖同方差和适当的独立性。

考点：自变量和因变量本身不要求服从正态分布。
注意：误差正态主要用于小样本精确推断。

35. 多重共线性

多重共线性是指解释变量之间高度线性相关。

影响：通常不会使 OLS 系数系统性有偏，但会放大标准误并使系数不稳定。
判断：结合 VIF、相关结构、系数稳定性和业务含义，不应只按单一阈值删除变量。

36. 变量变换

对数、平方根或 Box–Cox 变换可以缓解偏态、稳定方差或表达非线性关系。

在 $\log(Y)$ 对 $X$ 的模型中， $X$ 增加 1 个单位， $Y$ 约变化 $100\beta$ %。
在 log-log 模型中， $\beta$ 可解释为弹性。
有 0 或负值时需谨慎处理。
当少数极大值形成右长尾时，直接使用线性回归可能出现“喇叭口”残差；对数变换也可表达广告投入等场景中的边际递减关系。

37. 正则化

正则化在拟合训练数据的同时增加惩罚，限制模型过度复杂，降低把偶然噪声当成规律的风险。

L1：使用绝对值惩罚，容易产生稀疏系数。
L2：使用平方惩罚，收缩系数并提高稳定性。
场景：高维特征、多重共线性和防止过拟合。
标准化：不同特征量纲差异很大时，直接惩罚系数会产生不公平的约束，因此正则化前通常需要标准化变量。
调参：超参数应通过验证集或交叉验证选择。

六、模型评估与机器学习统计基础

38. 交叉验证

交叉验证通过反复划分训练折和验证折，降低单次切分的偶然性。

同一用户的记录应放在同一折。
时间序列需使用滚动或扩展窗口，不能随机打乱未来。
不仅看平均指标，也要看折间波动。

39. 类别不平衡

正负样本比例悬殊时，准确率可能失去意义。例如正样本率为 1% 时，全预测为负也有 99% 的准确率。

应结合合适的评估指标、类别权重、重采样和阈值优化，并防止采样改变概率校准。

40. Precision 与 Recall

Precision：预测为正类的样本中，真正例所占的比例。
Recall：所有真实正类中，被模型识别出来的比例。
选择：误杀成本高时重视 Precision，漏检成本高时重视 Recall。
注意：二者随阈值变化，应结合业务成本和处理容量选择工作点。

41. ROC-AUC

ROC-AUC 可以理解为：随机抽取一名正样本和一名负样本，模型将正样本评分排得更高的概率。

优点：衡量整体排序能力，不依赖单一阈值。
局限：类别极不平衡时可能过于乐观，需要结合 PR-AUC 和实际工作区间。

42. 过拟合与欠拟合

过拟合：训练表现好、验证表现差；可用正则化、减少复杂度或增加数据处理。
欠拟合：训练和验证表现都差；可增加有效特征或模型容量。
注意：先排除数据切分错误与数据漂移，再判断是否过拟合或欠拟合。

43. 异常值与影响点

异常值是在某个方向上极端的观测；影响点是删除后会显著改变模型结果的观测。

工具：标准化残差、杠杆值、Cook 距离。
原则：先判断它是数据错误、真实稀有事件还是新机制，不能只因数值极端就删除。

44. 特征重要性

模型内置重要性、置换重要性和 SHAP 回答的问题不同。

首先区分两类问题：全局重要性回答模型在整个数据集上主要依赖哪些特征，局部重要性回答某个具体样本的预测被哪些特征推高或压低。

线性模型：系数表示其他变量不变时，特征增加一个单位对应的预测变化。不同特征单位不同，不能直接比较原始系数；先标准化后，可用 $|\beta_j|$ 比较重要性，保留符号则还能看影响方向。

树模型内置重要性：特征用于分裂后，如果明显降低 Gini 不纯度、信息熵或回归误差，就会获得较高重要性。这种方法计算快，但容易偏爱连续变量、取值多的变量与高基数类别，适合快速检查，不宜作为唯一依据。

排列重要性问的是：如果打乱某一列，使其数值与原样本、目标值及其他特征错位，模型性能会下降多少？它保留该列的取值范围与边际分布，只破坏变量之间的对应关系，而且不重新训练模型。

Importance_j=MSE_{shuffled\ j}-MSE_{original}

分类任务也可用 $Accuracy_{original}-Accuracy_{shuffled\ j}$ 。应在验证集或测试集上重复多次排列，用均值表示典型重要性、标准差表示稳定性。高度相关的特征可以互相替代，导致单个特征都显得不重要；此时可同时打乱一组相关特征。

删除特征重要性则删除一列后重新训练：

Importance_j=Loss_{without\ j}-Loss_{full}

它能观察模型失去该特征后重新学习的结果，但每删一列都要重新训练，成本高于排列重要性。

SHAP源于 Shapley Value，把预测相对基准值的变化公平分配给各个特征。让特征以各种可能顺序加入模型，记录某特征每次加入带来的边际变化，再对这些变化取平均。

例如基准房价为 100 万，知道面积后预测为 140 万，知道地铁后为 120 万，两者都知道时为 200 万。若按“面积→地铁”加入，贡献为 40 和 60；按“地铁→面积”加入，贡献为 20 和 80。对顺序取平均后，面积 SHAP 值为 60，地铁为 40，满足：

100+60+40=200

一般形式为：

f(x)=E[f(X)]+\phi_1+\phi_2+\cdots+\phi_p

正 SHAP 值推高预测，负值压低预测，绝对值越大表示对当前预测影响越大。对所有样本的 $|\phi_{ij}|$ 取平均，可得到全局 SHAP 重要性。TreeSHAP、KernelSHAP、LinearSHAP 和 DeepSHAP 分别利用模型结构或近似算法降低计算成本。

方法选择：

线性或逻辑回归：标准化系数、优势比、排列重要性；
决策树、随机森林、XGBoost、LightGBM：排列重要性和 SHAP，内置重要性作为辅助；
神经网络：SHAP、Integrated Gradients、输入梯度、遮挡实验或排列重要性；
解释单个预测：优先考虑 SHAP；
衡量验证集性能贡献：排列重要性或删除特征重要性。

相关系数只衡量单个变量与目标的简单关联，不等于模型在多变量条件下对该特征的依赖。重要性排名还应通过交叉验证或 Bootstrap 报告均值与波动，避免把一次结果当作稳定结论。

最重要的误区：特征重要性解释的是模型预测，不是现实因果。相关特征会分摊或替代重要性，SHAP 也依赖背景数据和“缺少特征”的定义；任何重要性方法都不能直接证明人为改变某个特征会改变结果。