【fisher信息是什么】在统计学中，Fisher信息（Fisher Information）是一个重要的概念，用于衡量一个概率模型中参数的可估计性。它反映了数据对未知参数的“信息量”，是最大似然估计理论中的核心工具之一。Fisher信息在参数估计、置信区间构建以及假设检验中都有广泛应用。
一、Fisher信息的定义
Fisher信息是关于参数θ的函数，记为I(θ)，其数学表达式为：
$$
I(\theta) = -E\left[ \frac{\partial^2}{\partial \theta^2} \log L(\theta
$$
其中，L(θ
Fisher信息也可以通过以下方式计算：
$$
I(\theta) = E\left[ \left( \frac{\partial}{\partial \theta} \log L(\theta
$$
这表明Fisher信息实际上是似然函数对数关于θ的导数的方差。
二、Fisher信息的意义
1. 参数估计的精度：Fisher信息越大，说明参数的估计越精确，即估计值的方差越小。
2. Cramér–Rao下界：Fisher信息决定了无偏估计的最小方差，即Cramér–Rao下界。
3. 信息量：Fisher信息越高，意味着样本中包含的关于参数的信息越多。
三、Fisher信息的应用
| 应用领域 | 说明 |
| 参数估计 | 用于构造最大似然估计的方差下界 |
| 假设检验 | 在似然比检验和Wald检验中起作用 |
| 信息论 | 与熵和信息量有关联，常用于模型选择 |
| 统计推断 | 用于构造置信区间和显著性检验 |
四、Fisher信息的性质
| 性质 | 说明 |
| 非负性 | Fisher信息总是非负的 |
| 可加性 | 独立样本的Fisher信息可以相加 |
| 与充分统计量相关 | 充分统计量的Fisher信息等于原数据的Fisher信息 |
五、Fisher信息与Kullback-Leibler散度的关系
Fisher信息可以看作是Kullback-Leibler散度在参数邻域内的二阶展开形式，它描述了概率分布之间的局部差异。
六、实例说明
以正态分布N(μ, σ²)为例，若σ²已知，Fisher信息关于μ为：
$$
I(\mu) = \frac{1}{\sigma^2}
$$
这表明，随着σ²增大，Fisher信息减小，即参数估计的精度降低。
七、总结
| 概念 | 内容 | |
| 定义 | 衡量样本中关于未知参数的信息量 | |
| 数学表达式 | $ I(\theta) = -E\left[ \frac{\partial^2}{\partial \theta^2} \log L(\theta | X) \right] $ |
| 作用 | 用于估计精度、置信区间、假设检验等 | |
| 与Cramér–Rao下界关系 | F(x) 越大，估计方差越小 | |
| 实例 | 正态分布中，Fisher信息与方差成反比 |
结论：Fisher信息是统计学中一个基础而重要的概念，它帮助我们理解数据对参数的估计能力，并在多个统计推断方法中发挥关键作用。
