Python怎么实现Excel文件的合并
Python怎么实现Excel文件的合并
本文小编为大家详细介绍“Python怎么实现Excel文件的合并”,内容详细,步骤清晰,细节处理妥当,希望这篇“Python怎么实现Excel文件的合并”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。
一、单目录下面的数据合并
将2020下的所有文件进行合并,成一个文件:
importrequestsimportjsonimportopenpyxlimportdatetimeimportdatetimeasdtimporttimeimportpandasaspdimportcsvfromopenpyxlimportload_workbookfromsqlalchemyimportcreate_engineimportmathimportosimportglob
csv_list=glob.glob(r'D:\Python\03DataAcquisition\COVID-19\2020\*.csv')print("所有数据文件总共有%s"%len(csv_list))foriincsv_list:fr=open(i,"rb").read()#除了第一个数据文件外,其他不读取表头withopen('../output/covid19temp0314.csv','ab')asf:f.write(fr)f.close()print('数据合成完毕!')
合并后的数据:
二、使用函数进行数据合并
##02使用函数进行数据合并importosimportpandasaspd#定义函数(具有递归功能)defmergeFile(parent,path="",pathdeep=0,filelist=[],csvdatadf=pd.DataFrame(),csvdata=pd.DataFrame()):fileAbsPath=os.path.join(parent,path)ifos.path.isdir(fileAbsPath)==True:if(pathdeep!=0and('.ipynb_checkpoints'notinstr(fileAbsPath))):#=0代表没有下一层目录print('--'+path)forfilename2inos.listdir(fileAbsPath):mergeFile(fileAbsPath,filename2,pathdeep=pathdeep+1)else:if(pathdeep==2andpath.endswith(".csv")andos.path.getsize(parent+'/'+path)>0):filelist.append(parent+'/'+path)returnfilelist#D:\Python\03DataAcquisition\COVID-19path=input("请输入数据文件所在目录:")filelist=mergeFile(path)filelistcsvdata=pd.DataFrame()csvdatadf=pd.DataFrame()forminfilelist:csvdata=pd.read_csv(m,encoding='utf-8-sig')csvdatadf=csvdatadf.append(csvdata)#由于2023年的数据还没有,所以不合并
(* ̄(oo) ̄)注: 这个的等待时间应该会比较长,因为一共有一百九十多万条数据。
将合并后的数据进行保存:
csvdatadf.to_csv("covid190314.csv",index=None,encoding='utf-8-sig')
csvdatadf=pd.read_csv("covid190314.csv",encoding='utf-8-sig')csvdatadf.info()
读取新冠疫情在2020/0101之前的数据:
beforedf=pd.read_csv(r'D:\Python\03DataAcquisition\COVID-19\before20201111.csv',encoding='utf-8-sig')
beforedf.info()
将两组数据合并:
tempalldf=beforedf.append(csvdatadf)tempalldf.head()
三、处理港澳台数据
如图所示:要将Country_Region从Hong Kong变成China。澳门和台湾也是如此:
查找有关台湾的数据:
beforedf.loc[beforedf['Country/Region']=='Taiwan']beforedf.loc[beforedf['Country/Region'].str.contains('Taiwan')]
beforedf.loc[beforedf['Country/Region'].str.contains('Taiwan'),'Province/State']='Taiwan'beforedf.loc[beforedf['Province/State']=='Taiwan','Country/Region']='China'beforedf.loc[beforedf['Province/State']=='Taiwan']
香港的数据处理:
beforedf.loc[beforedf['Country/Region'].str.contains('HongKong'),'Province/State']='HongKong'beforedf.loc[beforedf['Province/State']=='HongKong','Country/Region']='China'afterdf.loc[afterdf['Country_Region'].str.contains('HongKong'),'Province_State']='HongKong'afterdf.loc[afterdf['Province_State']=='HongKong','Country_Region']='China'
澳门的数据处理:
beforedf.loc[beforedf['Country/Region'].str.contains('Macau'),'Province/State']='Macau'beforedf.loc[beforedf['Province/State']=='Macau','Country/Region']='China'afterdf.loc[afterdf['Country_Region'].str.contains('Macau'),'Province_State']='Macau'afterdf.loc[afterdf['Province_State']=='Macau','Country_Region']='China'
最终将整理好的数据进行保存:
beforedf.to_csv("beforedf0314.csv",index=None,encoding='utf-8-sig')afterdf.to_csv("afterdf0314.csv",index=None,encoding='utf-8-sig')
读到这里,这篇“Python怎么实现Excel文件的合并”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注恰卡编程网行业资讯频道。
推荐阅读
-
python多行注释符号怎么表示
python多行注释符号怎么表示这篇文章主要介绍“python多行...
-
python支持的操作系统是什么
python支持的操作系统是什么这篇文章主要介绍“python支持...
-
python如何判断列表为空
python如何判断列表为空这篇文章主要介绍“python如何判断...
-
Python如何利用D3Blocks绘制可动态交互的图表
-
excel快速合并居中快捷键是什么(80个Excel键盘快捷键大全)
-
透视表excel透视表怎么做(数据透视表是干嘛的)
-
复购率怎么算(excel复购率计算公式)
-
2021年度编程语言揭晓
-
PPython:PHP 拥抱 Python 的利器
-
哪种Python IDE最适合你?这里有一份优缺点列表