探索性数据分析（EDA） 探索性数据分析(EDA)全文共32页，当前为第1页。 EDA的提出 1977年，美国统计学家John W. Tukey出版了《探索性数据分析》一书，引起了统计学界的关注。该书指出了统计建模应该结合数据的真实分布情况，对数据进行分析，而不应该从理论分布假定出发去构建模型。EDA重新提出了描述统计在数据分析中的重要性，它为统计学指明了新的发展方向——和数据相结合。 探索性数据分析(EDA)全文共32页，当前为第2页。 EDA的定义 探索性数据分析是对调查、观测所得到的一些初步的杂乱无章的数据，在尽量少的先验假定下进行处理，通过作图、制表等形式和方程拟合、计算某些特征量等手段，探索数据的结构和规律的一种数据分析方法。 探索性数据分析(EDA)全文共32页，当前为第3页。 EDA的主要特点 研究从原始数据入手，完全以实际数据为依据 传统的统计分析方法通常是先假定数据服从某种分布，然后用适应这种分布的模型进行分析和预测。但实际上，多数数据(尤其是实验数据)并不能保证满足假定的理论分布。因此，传统方法的统计结果常常并不令人满意，使用上受到很大的局限。 探索性数据分析(EDA)全文共32页，当前为第4页。

分析方法从实际出发，不以某种理论为依据 传统的统计分析方法是以概率论为理论基础，对各种参数的估计、检验和预测给出具有一定精度的度量方法和度量值。而EDA在探索数据内在的数量特征、数量关系和数量变化时，什么方法可以达到这一目的就采用什么方法，灵活对待，灵活处理。方法的选择完全取决于数据的特点和研究的目的。 探索性数据分析(EDA)全文共32页，当前为第5页。 分析工具简单直观，更易于普及 传统的统计分析方法都比较抽象和深奥，一般人难于掌握，EDA则更强调直观及数据可视化，使分析者能一目了然地看出数据中隐含的有价值的信息，显示出其遵循的普遍规律及与众不同的突出特点，促进发现规律，得到启迪，满足分析者的多方面要求，这也是EDA对于数据分析的的主要贡献。 探索性数据分析(EDA)全文共32页，当前为第6页。 数据类型 结构化数据： 二分类型：如性别 多分类型：如职业 有序类型：如收入水平 数值类型：如年龄、收入 非结构化数据： 文本 音频 视频 图片 探索性数据分析(EDA)全文共32页，当前为第7页。 单变量分析 频率和众数：针对于无序的分类的变量 百分位数：针对于有序的或连续的变量 位置度量：均值和中位数 散布度量：方差、标准差、偏度、峰度、四分位数极差 探索性数据分析(EDA)全文共32页，当前为第8页。

偏度和峰度 偏度的计算公式： 偏度是刻画数据对称性的指标。关于均值对称的数据其偏度为0，呈现右偏的数据偏度大于0，呈现左偏的数据偏度小于0。 探索性数据分析(EDA)全文共32页，当前为第9页。 峰度的计算公式： 峰度是刻画分布状态的陡缓程度的指标。峰度等于0，分布呈正态，峰度大于0，分布呈尖峰状态，峰度小于0，分布呈平峰状态。 探索性数据分析(EDA)全文共32页，当前为第10页。 四分位数极差 四分位数极差定义： 判断数据异常点的方法：称 为数据的下、上截断点。大于上截断点或小于下截断点的数据均为异常点。 探索性数据分析(EDA)全文共32页，当前为第11页。 直方图 对于分类属性，每个值在一个箱中。对于连续属性，将值域划分成箱（通常是等宽的）并对每个箱中的值计数。 正常型直方图： 它的形状是中间高 两边低，左右近似对称。 探索性数据分析(EDA)全文共32页，当前为第12页。 双峰型直方图： 当直方图中出现了两个峰， 这是由于观测值来自两个总 体、两个分布的数据混合在 一起造成的。 平顶型直方图： 当直方图没有突出的顶峰， 呈平顶型 。形成的原因： 1.多个总体多个分布混合在 一起；2.变量在某个区间 均匀变化。

探索性数据分析(EDA)全文共32页，当前为第13页。 偏态型直方图： 偏态型直方图是指图的 顶峰有时向左偏、 有时向右偏。 孤岛型直方图： 在直方图旁边有孤立的小岛出现。 探索性数据分析(EDA)全文共32页，当前为第14页。 直方图作用 数据是否接近对称 数据分散性如何 数据是否有异常值 数据中是否有间隙 探索性数据分析(EDA)全文共32页，当前为第15页。 箱线图 箱线图是一种显示 一维数值属性值分布 的图形。 它有6个数据节点： 上边缘、上四分位数 中位数、下四分位数 下边缘、异常值。 箱线图的作用： 识别异常值；判断数据的偏态；比较几批数据的形状。 探索性数据分析(EDA)全文共32页，当前为第16页。 正态性检验 正态分布是许多检验的基础，比如F检验，t检验，卡方检验等。因此，对于一个样本是否来自正态总体的检验是至关重要的。 图示法 直方图：是否以钟型分布 箱线图：观测矩形位置和 中