数据分析与知识发现
    主页 > 综合新闻 >

数据分析必备——统计学入门基础知识

编辑导语:不论在什么岗位,都要懂得本岗位的基础知识,打牢基础后面才能稳步发展;数据分析也是如此,数据分析必须要掌握统计学的基础知识;本文是作者分享的关于统计学入门基础的知识,我们一起来学习一下吧。
要做好数据分析,除了自身技术硬以及数据思维灵活外,还得学会必备的统计学基础知识!
因此,统计学是数据分析必须掌握的基础知识,即通过搜索、整理、分析、描述数据等手段,以达到推断所测对象的本质,甚至预测对象未来的一门综合性科学。
统计学用到了大量的数学及其它学科的专业知识,其应用范围几乎覆盖了社会科学和自然科学的各个领域,而在数据量极大的互联网领域也不例外;因此扎实的统计学基础是一个优秀的数据人必备的技能。
但是,统计学的知识包括了图形信息化、数据的集中趋势、概率计算、排列组合、连续型概率分布、离散型概率分布、假设检验、相关和回归等知识;对于具体的知识点,本文就不一一介绍了,感兴趣的同学请参考《深入浅出统计学》、《统计学:从数据到结论》等等专业书籍。
统计学分为描述性统计学和推断性统计学。
一、描述性统计
定义:使用特定的数字或图表来体现数据的集中程度和离散程度。
1. 集中趋势
集中趋势集中趋势是指一组数据所趋向的中心数值,用到的指标有:算数均数、几何均数、中位数。
算数均数:即为均数,用以反映一组呈对称分布的变量值在数量上的平均水平。几何均数:常用以反映一组经对数转换后呈对称分布的变量值在数量上的平均水平。中位数:适用于偏态分布资料和一端或两端无确切的数值的资料,是第50百分位数。百分位数:为一界值,用以确定医学参考值范围。
2. 离散趋势
离散趋势是反映数据的变异程度,常用指标有极差、四分位间距、方差与标准差、变异系数。
极差:为一组数据的最大值和最小值之差,但极差不能反映所有数据的变异大小,且极易受样本含量的影响。常用以描述偏态分布。四分位数间距:它是由第3四分位数与第1四分位数相减得到,常和中位数一起描述偏态分布资料的分布。方差与标准差:反映一组数据的平均离散水平,消除了样本含量的影响,常和均数一起用来描述一组数据中的离散和集中趋势。变异系数:也称作异常值,多用于观察指标单位不同时,可消除因单位不同而不能进行比较的困难。例如箱线图就可以很好反映其中部分重点统计值:
3. 抽样方法和中心极限定理
抽样方法:
我们在做产品检验的时候,不可能把所有的产品都打开检验一遍看是否合格,我们只能从全部的产品中抽取部分样本进行检验,依据样本的质量估算整体的产品质量,这个就是抽样,抽样的定义是为了检验整体从整体中抽离部分样本进行检测,以样本的检测结果进行整体质量的估算的方法。
抽样有多种方法,针对不同的目的和场景,需要运用不同的方法进行检测,常见的抽样方法有:
1)概率抽样
简单随机抽样;分层抽样;整群抽样(先将总体中若干个单位合并为组,这样的组称为群,再直接对群进行抽样);系统抽样(将总体中所有单位按一定顺序排列,在规定的范围内随机抽取一个单位作为初始单位,然后再按事先指定好的规则确定其他样本单位);阶段抽样(先抽群,然后在群内进行二阶段抽样)。2)非概率抽样
方便抽样(依据方便原则自行确定);判断抽样(依据专业知识进行判断);自愿样本(调查者自愿参加);滚雪球样本(类似树结构);配额样本(类似分层抽样);3)两者抽样方法之间的比较:
非概率抽样适合探索性的研究,为更深入的数据分析做准备,特点是操作简便、时效快、成本低;而且对于抽样中的统计专业技术要求不是很高;概率抽样的技术含量更高,调查成本更高,统计学专业知识要求更高,适合调查目的为研究对象总体,得到总体参数的置信区间。