作者：Thomas Gey 翻译：廖倩颖 校对：和中华

本文约2300字，建议阅读5分钟。

探索性数据分析已失势，Pandas-profiling万岁！用更省力的办法完美呈现你的数据。

一个充满坏数据的世界

在大部分数据科学领域中，我们获得的数据并不如网上专门为机器学习模型的应用而设计和准备的数据干净和完整。大部分情况下，外部来源的数据不是结构性差就是不完整，这时候就需要你来把这些数据变得更可用！

虽然数据科学家注意到了数据质量的重要性，但这对于商业领导者来说并不是个事。他们更关注如何尽早使用技术来维持竞争优势，而很少理解技术的实际应用。这意味着人们会在“量大出奇迹”的借口下，利用数据集里的一切信息并希望获得最好的结果。

由于思维方式的差异，在建模前一个数据科学家一般花费80%时间准备数据集。

为什么是80%时间？因为有缺失值，不平衡的数据，没有任何意义的字段，删除重复数据后的数据，过时数据和其他原因。人们最近才意识到数据的重要性。但是，即使趋势逆转，数据也很难轻易访问和结构良好。

一个坏数据集的后果很简单也很符合逻辑：用这些数据集建立的预测模型将会有低准确率和低效率。用不正确的数据训练模型会产生偏差，你的结果将与现实相去甚远。一个糟糕的模型无法被部署，所以对于公司来说开发这样的模型是净损失。

一个用锈铁制造的汽车不能正常驾驶，甚至在最糟糕的情况下，根本不能驾驶…没有人愿意使用或购买一辆生锈的汽车。

所以，数据集对于你的项目至关重要。项目在技术和经济层面上的成功取决于你所选择数据的质量。在机器学习项目中，跳过数据评估步骤可能会浪费大量时间，你将不得不从头开始项目。所以现在看来，数据科学家们花那么多时间调查和准备数据集是合乎逻辑的！

低质量数据只会导致低质量结果

神创造了探索性数据分析

概念性的方法

为了确保我们的数据集是有用的，一个好的实践操作是EDA，即探索性数据分析。

EDA是一种熟悉数据集的方法。通过这个反思性工作，可以保证处理的是有趣，连贯和干净的数据。这一步是可视化的而且是基于摘要统计和图形表达。

通过EDA，数据科学家可以发现哪一个特征重要或者特征之间的相关性。此外，EDA可以让你发现错误或者缺失值，检测异常值或者驳回一个假设。特征变量的选择之后会被用于机器学习。

一般来说，在探索性数据分析之后的步骤是特征工程/数据增强，在这一过程中，你需要把原始数据进行处理，赋予他们额外价值。

一个EDA基本例子：

对于这个例子，我使用了一个非常适合EDA的数据集，即FIFA 19完整的球员数据集。它包含多种数据类型，缺失值，并且有许多适用的指标。对这个数据集的几个完整的分析可以在这里找到。我使用JupyterLab作为IDE，因为它的灵活性和用户友好的界面。

让我们使用pandas库从CSV文件中导入数据:

import pandas as pd
%time data = pd.read_csv("fifa.csv", delimiter=',', index_col=0)

加载速度很快。现在介绍一下data.sample(5)，这是一个随机选择行的方法。如果不知道数据是如何排序的，最好使用.sample()而不是.head()。

data.sample(5)

让我们用.describe()来做一些描述性统计。该方法“总结了数据集分布的集中趋势、分散和形状，不包括NaN值”。

data.describe()

现在我们有了描述性统计数据，我们将会检查缺失数据。我们将会仅仅按顺序列出10个有超10%缺失值的特征：

total = data.isnull().sum().sort_values(ascending=False) 
 percent = (data.isnull().sum()/data.isnull().count()).sort_values(ascending=False) 
 missing_data = pd.concat([total, percent], axis=1, keys=['Total', 'Missing Percent']) 
 missing_data['Missing Percent'] = missing_data['Missing Percent'].apply(lambda x: x * 100) 
 missing_data.loc[missing_data['Missing Percent'] > 10][:10]

正如你看到的，对于数据科学家来说在notebook上做探索性数据分析是非常方便和高效的。但是，视觉效果仍然很有总结性。让我们一起看看如何用pandas-profiling来更省力地动态展现数据。

只有通过观察，我们才能学习。

Pandas-profiling,我们的救世主！

概念

Github描述：”从pandas Dataframe生成概况报告(profile)“

Pandas-profiling将所有东西打包形成一个完整的EDA:最常见值、缺失值、相关性、分位数和描述性统计、数据长度等等。有了这些指标，您将很快看到数据的分布和差异。这些信息至关重要，帮你判断数据将来是否有用。

度量指标在互动性HTML报告中呈现。

pandas-profiling在HTML报告中以结构化的方式展现了不同指标。得益于它的交互性，我们能够很容易地从一个特征转换到另外一个并且访问其指标。