数据分析
    探索性数据分析（ExploratoryDataAnalysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。
    图片
    常用的第三方库
    数据科学库
    pandas：用于分组、过滤和组合数据，还提供了时间序列功能。
    numpy：处理大型的多维数组和矩阵
    scipy：用于解决线性代数、概率论、积分计算等任务
    数据可视化库
    matplotlib：构建各种图表，从直方图和散点图到非笛卡尔坐标图等
    seaborn：提供了丰富的可视化图库，包括时间序列、联合图和小提琴图等复杂的类型。
    常用函数
    数据简略观测
    head()：观察数据读取是否准确，常读取前5行数据。
    shape：读取数据集的维度。
    数据总览
    describe()：包含每列的统计量，个数、平均值、方差、最小值、中位数、最大值等。
    数据类型info()：了解数据每列的type，了解是否存在除了nan以外的特殊符号异常。
    数据检测
    缺失值检测
    查看每列的存在nan情况
    排序函数sort_values()：将数据集依照某个字段中的数据进行排序,该函数即可根据指定列数据也可根据指定行的
    可视化nan值与缺失值
    异常值检测
    3σ原则：拉依达准则，该准则具体来说，就是先假设一组检测数据只含有随机误差，对原始数据进行计算处理得到标准差，然后按一定的概率确定一个区间，认为误差超过这个区间的就属于异常值。
    箱线图：依据实际数据绘制，真实、直观地表现出了数据分布的本来面貌，且没有对数据作任何限制性要求（3σ原则要求数据服从正态分布或近似服从正态分布），其判断异常值的标准以四分位数和四分位距为基础。
    预测分布
    总体分布概况：
    无接触约翰逊分布：
    正态分布
    图片
    很多模型假设数据服从正态分布，数据整体服从正态分布，样本均值和方差则相互独立。当样本不服从正态分布时，可以做如下转换：
    线性变化z-scores：基于原始数据的均值（mean）和标准差（standarddeviation）进行数据的标准化。将A的原始值x使用z-score标准化到x’
    Boxcox变换：一种广义幂变换方法，是统计建模中常用的一种数据变换，用于连续的响应变量不满足正态分布的情况。
    yeo-johnson变换：是幂变换（powertransformation）的方法之一，通过构建一组单调函数对随机变量进行数据变换。
    查看skeness和kurtosis
    skeness：衡量随机变量概率分布的不对称性，是相对于平均值不对称程度的度量，通过对偏度系数的测量，我们能够判定数据分布的不对称程度以及方向。
    kurtosis：研究数据分布陡峭或平滑的统计量，通过对峰度系数的测量，我们能够判定数据相对于正态分布而言是更陡峭/平缓。
    图片
    预测值的具体频数
    当某范围预测值很少时，可将其当作异常值处理填充或删除。若频数很失常，需对数据进行处理，例如进行log变换，使数据分布较均匀，可据处理后的数据进行预测，这也是预测问题常用的技巧。
    特征分析
    数字特征
    相关性分析：对两个或多个具备相关性的变量元素进行分析，从而衡量两个变量因素之间的相关密切程度。
    特征的偏度和峰度
    数字特征分布可视化
    pd.melt()：处理数据，透视表格，可将宽数据转化为长数据，以便于后续分析。形成的数据即为，键：各特征名称，值：特征对应的值
    sns.FacetGrid()：先sns.FacetGrid()画出轮廓,再map()填充内容
    sns.pairplot()：展示变量两两之间的关系（线性或非线性，有无较为明显的相关关系）。
    类别特征
    unique分布：对于一维数组或者列表，unique函数去除其中重复的元素，并按元素由大到小返回一个新的无元素重复的元组或者列表。
    可视化：
    箱型图可视化：直观识别数据中的离群点，判断数据离散分布情况，了解数据分布状态。
    小提琴图可视化：用于显示数据分布及概率密度，这种图表结合了箱形图和密度图的特征，主要用来显示数据的分布形状
    柱形图可视化类别
    每个类别频数可视化
    数据清洗
    数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。俗话说：garbagein,garbageout。分析完数据后，特征工程前，必不可少的步骤是对数据进行清洗。
    数据清洗作用是利用有关技术如数理统计、数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据。主要包括缺失值处理、异常值处理、数据分桶、特征归一化/标准化等流程。
    图片
    缺失值处理
    关于缺失值处理的方式，有几种情况：
    不处理：针对xgboost等树模型，有些模型有处理缺失的机制，所以可以不处理；
    如果缺失的太多，可以考虑删除该列；
    插值补全（均值，中位数，众数，建模预测，多重插补等）；
    分箱处理，缺失值一个箱。
    异常值处理
    常用的异常值处理操作包括BOX-COX转换（处理有偏分布），箱线图分析删除异常值，长尾截断等方式，当然这些操作一般都是处理数值型的数据。
    BOX-COX转换：用于连续的变量不满足正态的时候，在做线性回归的过程中，一般需要做线性模型假定。
    箱线图分析：依据实际数据绘制，真实、直观地表现出了数据分布的本来面貌，其判断异常值的标准以四分位数和四分位距为基础。
    数据分桶
    连续值经常离散化或者分离成“箱子”进行分析,为什么要做数据分桶呢？
    离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展；
    离散后的特征对异常值更具鲁棒性，如age>30为1否则为0，对于年龄为200的也不会对模型造成很大的干扰；
    LR属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合；
    离散后特征可以进行特征交叉，提升表达能力，由M+N个变量编程M*N个变量，进一步引入非线形，提升了表达能力；
    特征离散后模型更稳定，如用户年龄区间，不会因为用户年龄长了一岁就变化
    当然还有很多原因，LightGBM在改进XGBoost时就增加了数据分桶，增强了模型的泛化性。现在介绍数据分桶的方式有：
    等频分桶：区间的边界值要经过选择,使得每个区间包含大致相等的实例数量。比如说N=10,每个区间应该包含大约10%的实例。
    等距分桶：从最小值到最大值之间,均分为N等份；
    Best-KS分桶：类似利用基尼指数进行二分类；
    卡方分桶：自底向上的(即基于合并的)数据离散化方法。它依赖于卡方检验：具有最小卡方值的相邻区间合并在一起,直到满足确定的停止准则。
    数据转换
    数据转换的方式有：
    数据归一化(MinMaxScaler)；
    标准化(StandardScaler)；
    对数变换(log1p)；
    转换数据类型(astype)；
    独热编码(OneHotEncoder)；
    标签编码(LabelEncoder)；
    修复偏斜特征(boxcox1p)等。

以上文章由成都CDA数据分析师培训机构课程顾问整理编辑发布，部分文章来自网络内容真实性请自行核实或联系我们，了解相关专业课程信息您可在线咨询也可免费申请试课。关注官方微信了解更多：150 3333 6050

免 费 申 请 试 课