变量
变量按变量值是否连续可分为连续变量与离散变量两种。 连续变量(continuous variable)与离散变量(discrete variable)
连续变量
在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值。
离散变量
离散变量是指其数值只能用自然数或整数单位计算的则为离散变量.例如,企业个数,职工人数,设备台数等,只能按计量单位数计数,这种变量的数值一般用计数方法取得.
在R语言中的Data.Frame中的每一列可以表示一个变量;
变量关注点:1取值,2概率
得到了变量的取值及概率就获得了数据的分布
数据分布
数据分布的特征
集中趋势(位置)
离中趋势(分散程度)
偏态和峰态(形态)
一、集中趋势的度量
分类数据:众数
顺序数据:众数、中位数、分位数
数值型数据:众数、中位数、分位数、平均数
概念:
众数(mode):一组数据中出现次数最多的值;数据中重复次数最多的那个数据。 如评选”最佳“,”最受欢迎“等都与众数有关。Mo
中位数(median):排序后处于中间位置上的值。如有5个数,排序后第3个数为中位数,如果为6个数,则对中间两个数求平均结果为中位数。Me
四分位数(quartile): 排序后处于25%和75%位置上的值。
平均数(mean): 也称为期望
简单算数平均:
加权平均:
几何平均:
几何平均主要用于计算平均增长率;
特点:
1. 众数
不受极端值影响
具有不惟一性
数据分布偏斜程度较大时应用
2. 中位数
不受极端值影响
数据分布偏斜程度较大时应用
3. 平均数
易受极端值影响
数学性质优良
数据对称分布或接近对称分布时应用
关系:
均值在中位数左边为左偏,均值在中位数右边为右偏。
二、离散程度的度量
反映各变量值远离其中心值的程度(离散程度)
分类数据:异众比率
顺序数据:四分位差
数值型数据:极差、平均差、方差和标准差
相对位置的度量:标准分数
相对离散程度:离散系数
概念:
异众比率(variation ratio): 非众数组的频数占总频数的比例。
例子:
四分位差(quartile deviation):上四分位数与下四分位数之差。反应了中间50%数据的离散程度。
例子:
极差(range):数据中最大值与最小值之差。
方差(variance): 是各个数据分别与其平均数之差的平方的和的平均数; 反映了各变量值与均值的平均差异.
E{x}表示平均数
样本方差:
在统计学中样本的均差多是除以自由度(n-1),它是意思是样本能自由选择的程度。当选到只剩一个时,它不可能再有自由了,所以自由度是n-1。
标准差(standard deviation): 是各个数据分别与其平均数之差的平方的和的平均数的平方根;反映了各变量值与均值的平均差异. 反应了数据集的离散程度.
对方差进行开方
标准分数(standard score):也叫z分数(z-score) 是一个分数与平均数的差再除以标准差的过程。用公式表示为z=(x-μ)/σ。其中x为某一具体分数,分数即为值。
例子:
离散系数:又称为变异系数,常用的是标准差系数,用CV(Coefficient of Variance)表示。标准差与均值的比率。 用公式表示为:CV=σ/μ
离散系数反映单位均值上的离散程度,常用在两个总体均值不等的离散程度的比较上。若两个总体的均值相等,则比较标准差系数与比较标准差是等价的。在对比情况下,离散系数较大的其分布情况差异也大。
协方差:在概率论和统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。
期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为:
从直观上来看,协方差表示的是两个变量总体误差的期望。
如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值;
如果两个变量的变化趋势相反,即其中一个变量大于自身的期望值时另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。
结果值范围为-∞~+∞,不同协方差之间是不能比较的
相关系数:
称为随机变量X和Y的(Pearson)相关系数
结果值范围-1~+1,不同协方差的相关系数是可以比较的
分布
离散变量的分布
1.两点分布 又称为伯努利分布
P(n) = pn(1-p)1-n (n=1,或 n=0) 1表示成功,0表示失败
成功的概率为p,失败的概率为1-p;
2.二项分布 Binomial Distribution
即重复n次的伯努利试验(Bernoulli Experiment),用X表示随机试验的结果。
如果事件发生的概率是p,则不发生的概率q=1-p,N次独立重复试验中发生K次的概率是:
其中组合的计算公式为:
期望E(X)=np
方差D(X)=npq
例子:张三参加雅思考试,每次通过的概率假设为1/3,不通过的概率为2/3。如果他连续参加4次考试,那么恰好通过2次的概率是多少?
p=1/3, n=4, k=2 代入公式:结果为8/27
3.泊松分布 Poisson
泊松分布适用于描述单位时间内随机事件发生的次数。
泊松分布的概率函数:
期望和方差都为:λ
λ是单位时间内随机事件的平均发生率,k是指事件发生的次数。
当二项分布的n很大而p很小时,泊松分布可作为二项分布的近似,其中λ为np。通常当n≧10,p≦0.1时,二项分布就可以用泊松公式近似得计算。
在实际事例中,当一个随机事件,例如某电话交换台收到的呼叫、来到某公共汽车站的乘客、某放射性物质发射出的粒子、显微镜下某区域中的白血球等等,以固定的平均瞬时速率λ(或称密度)随机且独立地出现时,那么这个事件在单位时间(面积或体积)内出现的次数或个数就近似地服从泊松分布P(λ)。因此,泊松分布在管理科学、运筹学以及自然科学的某些问题中都占有重要的地位。
观察事物平均发生m次的条件下,