faceswap AI换脸 2020-06-11 | perl/php/python/gawk/sed 一、AI换脸需求概述 AI换脸这个需求是领导给一同事的需求,在帮同事装完相关环境后,也顺便帮他一想研究了下。同事选中的是用faceswap开源软件进行测试。faceswap 项目是一个学习重建脸部特征的深度学习算法。你给它一堆的图片,它学习几个小时后,可以根据计算的模型对图片进行批量…… Continue reading
web实现DNS查询 2020-05-15 | perl/php/python/gawk/sed 一、功能和需求 先说下现在实现的功能吧,想要在实现一个内部DNS查询系统,通过在页面上输入域名或IP地址就可以查出对应的IP或域名。具体效果如下: dnsquery 通过点击后面的提交查询,就可以返回相应的结果。里面的地址和域名也是可以直接更换为想要查询的地址或者内容。 二、代码实现 本来系统是想使用g…… Continue reading
python获取13位时间戳 2020-02-20 | perl/php/python/gawk/sed Unix 时间戳根据精度的不同,有 10 位(秒级),13 位(毫秒级),16 位(微妙级)和 19 位(纳秒级)。平时我们在linux命令行下,使用date +%s返回的是一个10位的unix时间,而在常用的http的响应头里,我们经常会发现有13位的unix时间戳。在python下可以比较容易的获取1…… Continue reading
Pandas中lambda函数的应用 2020-02-07 | perl/php/python/gawk/sed 在使用pandas的过程中,我们可以结合lambda函数很方便的进行各种数据处理操作。而lambda在pandas就又经常和df.assign、df.apply两个函数组合使用,df.assign经常用于列的修改和新增,apply经常作用于一维向量上,其既可作用于行,也可以作用于…… Continue reading
pandas之SQL类操作 2020-02-06 | perl/php/python/gawk/sed 一、pandas数据 pandas有两类数据,一种是一维的Series;另一种是二维的DataFrame。其实还有一个三维的Panel,不过这种数据分类已经废弃。pandas的数据使用比较灵活,可以像SQL一样操作。本文结合示例说下pandas的操作。 Series,1维序列,可视作…… Continue reading
python excel数据比对 2020-02-03 | perl/php/python/gawk/sed 一、背景与思路 背景:由于新冠肺炎疫情的影响,每天需要统计公司员工的信息进行上报,并和前一天的数据进行比对。肉眼一个个的比对比较累,而且容易出错,所以就想到通过程序来实现数据的比对。 思路: 1、通过xlrd、xlsxwriter这类模块进行表格读取,读取后,根据姓名或者手机号进行逐个…… Continue reading
pandas if条件判断 2020-02-01 | perl/php/python/gawk/sed python pandas模块是一个功能强大的DataFrame数据处理模块,这里就是结果几个具体常见的应用场景来展示下其应用,该处展示的功能excel上也可以实现,不过站在一个懂python的人角度来说,我觉得这种处理方法比excel更高效好玩。 一、数字判断 这里实现的功能比较简单,根据一列…… Continue reading
chrome headless抓取websoket数据 2019-12-25 | perl/php/python/gawk/sed 很多页面上会有一些websocket动态数据,这些数据一般每过N秒会自动刷新数据,并在页面上进行闪烁数据。最明显的示例就是行情类数据。这里选取目标站点:https://datacenter.jin10.com/price 。 websocket-price 这里还是使用Headless Chrome模式进行抓取,不…… Continue reading
python+selenium+Chrome Headless套装 2019-12-24 | perl/php/python/gawk/sed 使用python比较多的一个应用场景就是数据采集,采集一些比较蛋疼的页面时,会检测用户是否是通过浏览器打开的页面,还有一些会通过js加载后才会回显内容。这个时候可能用的比较多的方案就是python + Headless + 浏览器,其会自动打开浏览器,并输入相应的页面地址后,并可以抓取返回的结果。 不过…… Continue reading
Golang urlencode与urldecode编码解码 2019-11-12 | perl/php/python/gawk/sed 一、urlencode golang下可以使用net/url模块实现urlencode和urldecode操作。具体实现的函数为url.QueryEscape和url.QueryUnescape,代码如下: 1package main 2import( 3 "fmt" 4 "net/url" 5) 6func main() { 7 var urlStr string = "运维之路" 8 escapeUrl := url.QueryEscape(urlStr) 9 fmt…… Continue reading