常用功能

python读取sql数据并添加表头

def sql_fetch_data(con,sql,*args):
    """python读取sql数据并转化为dataframe
    
        Args:
            conn: 连接的数据库。
            sql: 执行的sql字段，。
            *args: sql代码中的参数。
 
        Returns:
            所取数据的dataframe。
    """
    with con.cursor() as cursor:
        cursor.execute(sql.format(*args))
        rows = cursor.fetchall()
    headers = [i[0] for i in cursor.description]
    data = pd.DataFrame(rows,columns=headers)
    return data

python读取数据类型

def df_col_type(data):
    import pandas as pd
    col = list(data.columns)
    d = {i:[",".join(list(set([str(type(j)) for j in data[i]]))),sum(data[i].isna())] for i in col}
    df1 = pd.DataFrame.from_dict(d,orient='index',columns=["包含数据类型","缺失值个数"])
    df2 = data.dtypes
    df3 = pd.concat([df1,df2],axis=1)
    df3.包含数据类型 = df3.包含数据类型.str.replace("<class '","").str.replace("'>","")
    df3.rename(columns={0:"列类型"},inplace=True)
    return df3