机器学习专题记录

news/2024/6/16 8:22:26 标签: 统计机器学习

有偏估计和无偏估计

无偏估计和有偏估计的区别

无偏估计
无偏估计是用样本统计量来估计总体参数时的一种无偏推断。估计量的数学期望等于被估计参数的真实值,则称此估计量为被估计参数的无偏估计,即具有无偏性,是一种用于评价估计量优良性的准则。无偏估计的意义是:在多次重复下,它们的平均数接近所估计的参数真值。

有偏估计
有偏估计(biased estimate)是指由样本值求得的估计值与待估参数的真值之间有系统误差,其期望值不是待估参数的真值。在统计学中,估计量的偏差(或偏差函数)是此估计量的期望值与估计参数的真值之差。偏差为零的估计量或决策规则称为无偏的。否则该估计量是有偏的。

moment matching

数理统计7:矩法估计(MM)、极大似然估计(MLE),定时截尾实验
对于随机变量 X X X, 其 k k k阶原点矩和 k k k阶中心矩为
a k = E ( X k ) , m k = E [ X − E ( X ) ] k a_k=E(X^k), m_k=E[X-E(X)]^k ak=E(Xk),mk=E[XE(X)]k
特别地,一阶原点矩就是随机变量的期望,二阶中心矩就是随机变量的方差。
现实生活中,我们不知道 X X X的客观分布,因而需要通过样本 ( X 1 , X 2 , X 3 , . . . . , X n ) (X_1,X_2,X_3,....,X_n) (X1,X2,X3,....,Xn)来估计总体矩。其样本 k k k阶原点矩样本 k k k阶中心矩计算为
a n , k = 1 n ∑ j = 1 n E j ( X k ) , m n , k = 1 n ∑ j = 1 n ( X j − X ˉ ) k a_{n,k}=\frac{1}{n}\sum^n_{j=1} E_j(X^k), m_{n,k}=\frac{1}{n}\sum^n_{j=1} (X_j-\bar{X})^k an,k=n1j=1nEj(Xk),mn,k=n1j=1n(XjXˉ)k

显然,它们都是统计量,因为给出样本之后它们都是可计算的。形式上,样本矩是对总体矩中元素的直接替换后求平均,因此总是比较容易计算的。容易验证, a n , k a_{n,k} an,k a k a_{k} ak的无偏估计,但 m n , k m_{n,k} mn,k则不是。

矩匹配

The method of moments can be very useful in obtaining approximations to the distributions of statistics. This technique is called moment matching.

Normal method of moments

假设数据 X 1 , . . . . , X n X_1,.... ,X_n X1,....,Xn服从正太分布 N ( θ , σ 2 ) N(\theta,\sigma^2) N(θ,σ2). 我们可以计算样本1阶矩和样本2阶矩
a n , 1 = X ˉ , a n , 2 = 1 n ∑ i = 1 n X i 2 a_{n,1}=\bar{X},a_{n,2}=\frac{1}{n}\sum^n_{i=1}X^2_i an,1=Xˉ,an,2=n1i=1nXi2

根据客观分布 N ( θ , σ 2 ) N(\theta,\sigma^2) N(θ,σ2), 1阶矩和2阶矩的计算公式为
a 1 = θ , a 2 = θ 2 + σ 2 a_1=\theta, a_2=\theta^2+\sigma^2 a1=θ,a2=θ2+σ2

我们将样本矩带入矩的计算公式,两个方程即可以解出两个未知数 θ , σ 2 \theta,\sigma^2 θ,σ2的估计值 θ ~ , σ ~ 2 \tilde{\theta},\tilde{\sigma}^2 θ~,σ~2
θ ~ = X ˉ , σ ~ 2 = 1 n ∑ i = 1 n ( X i − X ˉ ) 2 \tilde{\theta}=\bar{X}, \tilde{\sigma}^2=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^2 θ~=Xˉ,σ~2=n1i=1n(XiXˉ)2

在贝叶斯机器学习中,矩匹配(Moment Matching)是种基于KL-散度最小化的近似方法——期望传播( Expectation Propagation)的一种形式。


http://www.niftyadmin.cn/n/5514257.html

相关文章

缓存穿透基本认识

我先说一下正常的业务流程:需要查询店铺数据,我们会先从redis中查询,判断是否能命中,若命中说明redis中有需要的数据就直接返回;没有命中就需要去mysql数据库查询,在数据库中查到了就返回数据并把该数据存入…

openjudge_2.5基本算法之搜索_7221:拯救公主

题目 7221:拯救公主 总时间限制: 1000ms 内存限制: 65536kB 描述 多灾多难的公主又被大魔王抓走啦!国王派遣了第一勇士阿福去拯救她。 身为超级厉害的术士,同时也是阿福的好伙伴,你决定祝他一臂之力。你为阿福提供了一张大魔王根据地的地图…

mac读不出来ntfs mac硬盘读不出来盘

新买的Mac电脑由于需要导入旧电脑的数据,因此通常会读取备份硬盘,通过硬盘进行导入。不过由于各种原因,有些mac用户反馈无法正常读取或写入NTFS移动硬盘,下面就通过本篇教程,简单讲述当mac读不出来ntfs,mac…

RabbitMQ-Stream(高级详解)

文章目录 什么是流何时使用 RabbitMQ Stream?在 RabbitMQ 中使用流的其他方式基本使用Offset参数chunk Stream 插件服务端消息偏移量追踪示例 示例应用程序RabbitMQ 流 Java API概述环境创建具有所有默认值的环境使用 URI 创建环境创建具有多个 URI 的环境 启用 TLS…

C#——集合List

list list集合和Arraylist基本一样,只不过list是C#2.0版本新加入的范型类型。list也可以通过索引操作里面的元素,也有对list进行增删改查 概念 Array静态数组 * Arraylist 动态数组 * list集合 * 1. Array是容量是固定的,但是ArrayList和…

FileZilla:不安全的服务器,不支持 FTP over TLS 原因与解决方法

今天在用FileZilla Client连接某个主机的FTP的时候,主机地址、账号、密码、端口确定百分之百正确的情况下,结果报错如下: 状态: 正在解析 x.x.x 的地址 状态: 正在连接 x.x.x.x:21... 状态: 连接建立,等待欢迎消息... 状态: 不安全…

数组中的map方法

JavaScript中的map()方法详解 map()方法经常拿来遍历数组,但是不改变原数组,但是会返回一个新的数组,并且这个新的数组不会改变原数组的长度 注意:有时候会出现这种现象,出现几个undefined const array [1, 4,9, 16…

【端午惊喜】2024年6月6日 docker 国内镜像源集体失效

文章目录 概述中科大镜像源阿里镜像源其他镜像源可用的镜像源写在最后 概述 大家都知道使用docker hub官方镜像需要魔法,虽然大部人有魔法,但是网速也是很慢,还有部分同学没有,全靠国内各大厂商的镜像源,可是端午6.6大…