一行代码EDA:Python和R中可以用一行代码进行数据探索性分析的包介绍和对比



  • 最近在公众号中常常看到关于Pandas-profiling和Sweetviz的推文。今天又看了一篇Pandas-profiling,Sweetviz 和Autoviz之间的比较,便一发不可收拾,打算自己找左右相关包做一个对比。

    Python:

    • Pandas-profiling
    • Sweetviz (最近的心头好)
      • 主要优势是可以用来比较两个Data Frame
      • 既可以用来看干净数据,也可以用来看一些脏数据,但是最好把pairwise_analysis的选项选为off,避免出错的可能。
    • Autoviz

    R

    https://nextjournal.com/eda/automated-eda

    • dataMaid
      • 可以用于处理数据前看简单的Summary。
    • autoEDA
      • 用于干净数据。
    • ExPanDaR
      • 用于干净数据。创建一个R shiny app.
    • DataExplorer


  • 我第一个探索的包是ExPanDaR。结果非常惊艳,唯一的缺点是依赖包较多,安装比较麻烦。

    f02413da-fb42-4b28-b831-1c3ccdb8b801-image.png
    这个包在安装的时候报了这个错:cannot open the connection。仔细一看,是安装依赖包(dependencies)的时候出现的问题。没有办法,只能手动安装啦。
    在这个包的CRAN网址下载好之后,从本地进行了安装
    0be7980e-5214-4fdb-b87b-0105f2835e0e-image.png
    安装好了以后,运行的时候会报没有依赖包的bug,只要观察没有的依赖包是哪个,一个一个安装好就行。过程比较麻烦,但是有效。如果大家发现别的好方法,可以留言鸭。



  • 带大家探索一个这个包内置的数据框:World Bank

    library(ExPanDaR)
    
    ExPanD(df = worldbank,  
           df_def = worldbank_data_def, 
           var_def = worldbank_var_def,
           df_name = "World Bank Data",
           title = "WORLD BANK DATA EXPLORATION",
           abstract = paste("今天珂珂就带领大家",
                            "探索ExPanDaR这个包",
                            "略略略"),
           export_nb_option = TRUE)
    

    生成效果展示:
    8ed439cf-10ac-43c1-9bb2-5d110af68e4a-image.png
    首先一个功能是是否要展示全部的数据,还是选择一个子集。Group factor之后会被用于在下面的图中进行选择。(之后进行细讲)

    feb4f9ef-a961-42e5-aa69-849067228f92-image.png
    第一个是条形图,可以在侧边选择x和y。Select to group to subset to这个栏目里面可以选择上面说的Group变量。比如说Group选择了region的话,这里就可以选亚洲,这个条形图就会根据亚洲的数据绘制。
    24600e31-8606-411e-8a9d-f2138f3ada2f-image.png
    ad3d6ee2-d1d4-4baa-89ea-2b27959eaf02-image.png

    a03c9f03-f3fb-4c30-a4c7-3ff634d45819-image.png

    c7d7a38a-dd5b-46da-b3db-13d4aeab7312-image.png

    01f4d269-83f7-424b-a077-f228e788fe4c-image.png

    6242a115-d477-4804-ad6a-616e330c6d63-image.png

    d8dccf41-fa94-46b5-82a8-55d7cb574f0c-image.png

    14e18f21-9936-431f-ac06-e730919f669d-image.png
    c2948d7c-236a-4227-b6c2-c8db9a04d9ef-image.png

    b79de46c-0bcc-482e-b0af-5c50a792bc24-image.png

    最后居然还有做简单回归的功能!
    461641cb-4884-4847-b2aa-c28e6f3cef73-image.png

    这个网页app一共有哪些部分呢?

    Name Description
    sample_selection A drop down menu to select the sample to be used and whether it should be balanced
    subset_factor A drop down menu to select a factor on which to limit the sample and an additional menu to select the value of that factor on which you want to focus the analysis
    grouping A drop down menu that gives you the option to name a grouping factor. The grouping factor allows the user to focus certain components on a sub-sample defined by a value of that factor. Also, the grouping component contains the dialog four outlier treatments
    bar_chart A component displaying a bar chart reporting the observations by time period
    missing_values A visual displaying the frequency of missing values for each variable and time period
    udvars A component that allows users to define additional variables (see below)
    descriptive_table A descriptive table for all numerical and logical variables contained in the sample
    histogram A histogram to display the distribution of a chosen numerical or logical variable
    ext_obs A list displaying the 5 most extreme observations for a chosen variable, overall or by time period
    by_group_bar_graph A bar graph that visualizes a chosen descriptive statistic by a chosen grouping factor
    by_group_violin_graph A by group violin plot, where users can choose the variable and the grouping factor
    trend_graph A graph that visualizes the development of up to three variables over time
    quantile_trend_graph A graph that visualizes the distribution of one chosen variable over time
    corrplot A visual representation of Spearman and Pearson correlations of the numerical and logical variables in the sample. Exact correlations are displayed when you hover above the respective cell with your mouse
    scatter_plot A scatter plot, where you can present up to 4 dimensions of your data (x, y, size, color). You can choose whether you want a LOESS line to be displayed and whether you want your sample to be limited to 1,000 observations
    regression A regression component where you can estimate a linear or logit regression, with up to two fixed effect levels and standard error clustering

    如果想展示其中的一部分,可以用components这个参数来控制哪些部分要进行显示

    library(ExPanDaR)
    
    ExPanD(df = worldbank,  
           df_def = worldbank_data_def, 
           var_def = worldbank_var_def,
           df_name = "World Bank Data",
           title = "WORLD BANK DATA EXPLORATION",
           abstract = paste("今天珂珂就带领大家",
                            "探索ExPanDaR这个包",
                            "略略略"),
          components = c(descriptive_table = TRUE, 
                                 by_group_violin_graph = TRUE, 
                                 scatter_plot = TRUE, 
                                 regression = TRUE)  ,
          export_nb_option = TRUE)
    

    这个app好是好看,但是需要的数据处理也非常多。比如说如果我想对国家做分组,那么一定要把国家这个变量处理为factor格式,需要做的预处理非常多。



  • 探索的第二个包是DataMaid,这个包名字非常吸引人。数据女仆,不由得让我想到了日漫中可爱的猫女仆端茶倒水的样子=w=,非常可爱。

    可爱归可爱,这个包的安装使用没有那么简单。首先是要安装这个包本身,其次要保证你的电脑装了Tex或者TinyTex,这样的话可以直接生成PDF的数据报告。

    library(dataMaid)
    makeDataReport(worldbank, replace = TRUE)
    

    我第一次运行的时候报了错:

    The log file hopefully contains the information to get MiKTeX going again:

    C:\Users\ASUS\AppData\Local\MiKTeX\2.9\miktex\log\pdflatex.log

    Error: LaTeX failed to compile dataMaid_worldbank.tex. See https://yihui.org/tinytex/r/#debugging for debugging tips. See dataMaid_worldbank.log for more info.

    怎么办呢?我就直接按照说明,打开了log文件。发现报错说我的MikTex没有检查过更新。好叭,于是我就打开了MikTex console,更新了所有包。继续跑一样的代码,还是报错= =。又打开log文件,看到错误是GUI framework cannot be initialized. 好叭,打开万能的互联网,互联网说需要设置安装包的方式

    0598cf97-d2ad-43bd-a0ae-6bfb7d62268c-image.png
    这里不能选择Ask me,而是要选择蓝色框框的两个之一。

    选好之后再跑,哇哦,可以啦!

    自动跳出了一个PDF文件,看起来非常高端大气!



  • 第一个部分是一个Overview,告诉你这个数据集有几行几列,小女仆对每个变量根据数据类型做了哪些检查。
    95c9cae8-c847-45e0-9c2e-09560bbd45bf-image.png
    可以看到有一些非常好的检查,比如”Identify prefixed and suffixed“就是检查数据有没有前空格和后空格。有前后空格,比如” 吃饭“和”吃饭 “都是不好的数据形式。

    接下来的一个部分是一个Summary Table,里面会检查各种变量类型,有多少可能的值以及缺失值。Any Problem那里是指是否在Overview里面的检查中被检查出了问题。有问题的话就会出现一个 $ \times $的符号。
    ba8784ea-1f3b-453c-93b1-a454262d4dc9-image.png

    最后一个部分是对每个变量的单独分析,会列出变量类型众数等等, 其中reference category指的是所有category按照字符串排序的第一个。频率分布图会出现在右面,不过当横坐标x太多的时候可能看起来不太清楚。

    表格和频率分布图的下方是根据之前的检查发现的问题。

    73563efd-26fe-479d-a2eb-ef12d37b3b94-image.png

    关于DataMaid还有一篇论文也不错

    总结:DataMaid非常适合用于在对数据一无所知的情况下进行简单的数据研究,可以检查数据中可能的问题,避免在未来出错。




Log in to reply