嵌套json下的pandas操作
在进行json处理的时候，经常会遇到需要提取不同级别的字段内容并合并成表格，见下图所示。本篇就总结下遇到这种情况下如何进行文本内容的提取。在知乎上看到一篇《骚操作！嵌套 JSON 秒变 Dataframe》似乎和我遇到的情况类似，不过在实际处理的时候又有不同。 json-nested 先看我要处理的原始数据： 1{ 2 "code":……
包含标签 pandas articles
Pandas中lambda函数的应用
在使用pandas的过程中，我们可以结合lambda函数很方便的进行各种数据处理操作。而lambda在pandas就又经常和df.assign、df.apply两个函数组合使用，df.assign经常用于列的修改和新增，apply经常作用于一维向量上，其既可作用于行，也可以作用于……
pandas之SQL类操作
一、pandas数据 pandas有两类数据，一种是一维的Series；另一种是二维的DataFrame。其实还有一个三维的Panel，不过这种数据分类已经废弃。pandas的数据使用比较灵活，可以像SQL一样操作。本文结合示例说下pandas的操作。 Series，1维序列，可视作……
python excel数据比对
一、背景与思路 背景：由于新冠肺炎疫情的影响，每天需要统计公司员工的信息进行上报，并和前一天的数据进行比对。肉眼一个个的比对比较累，而且容易出错，所以就想到通过程序来实现数据的比对。 思路： 1、通过xlrd、xlsxwriter这类模块进行表格读取，读取后，根据姓名或者手机号进行逐个……
pandas if条件判断
python pandas模块是一个功能强大的DataFrame数据处理模块，这里就是结果几个具体常见的应用场景来展示下其应用，该处展示的功能excel上也可以实现，不过站在一个懂python的人角度来说，我觉得这种处理方法比excel更高效好玩。 一、数字判断 这里实现的功能比较简单，根据一列……
pandas读写带变更的mysql数据
pandas在读写mysql数据时，如果是固定的mysql语句是比较容易存取的，不过现网很多需求，需要传入不同的变量的SQL写入或查询。遇到这种情况该如何解决呢？可以使用format函数来实现转化。例如给一个含有时间序列的数据集，给定三个参数，数据集名称tablename，开始时……
pandas小结（七）merge、join与concat
一、merge、join与concat的区别 Pandas.DataFrame操作表连接有三种方式：merge, join, concat。三者的使用很容易搅浑，三者之间的区别什么呢？ merge 相当于SQL中的JOIN。该函数的典型应用场景是，两张表有相同内容的列（即SQL中的键），现在我们想把两张表……
pandas小结（六）merge数据合并
在《pandas小结（五）concat数据合并》中提到了数据合并，本篇学习另一个数据合并方法merge，不过这个和concat是有区别的，concat方法准确的说更像是级联，而不算合并，merge才是真正意义的合并。merge个人用的比较多的一个场景就是两个pandas数据，有相……
pandas小结（五）concat数据合并
pandas数据的行更新、表合并等操作，一般用到的方法有concat、join、merge。本篇先说concat方法。其具体用法如下： 1pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, 2 keys=None, levels=None, names=None, verify_integrity=False) 常用参数说明： objs: series，dataframe或者是panel构成的序列lsit axis： 需要合并链接的轴，0是行，1是列 j……
pandas小结（四）删除列的方法
pandas删除列有如下三种操作方式： 11.del df['columns'] #改变原始数据 22.df.drop('columns',axis=1)#删除不改表原始数据，可以通过重新赋值的方式赋值该数据 33.df.drop('columns',axis=1,inplace='True') #改变原始数据 具体总结为：凡是会对原数组作出修改并返回一个新数组的，往往都有一个 inplace可……