密码保护：鲲鹏ARM平台编译kraken2 conda包
因为涉A的原因，国内一些较大的院校避免被卡脖子，开始转向华为鲲鹏平台（arm）+ 欧拉系统构建常用教学软件系统。最近有朋友问起了在这些平台上编译kraken2的问题，刚好手头上有这样的资源，这里总结下编译测试过程。 一、源码编译 源码安装是最简单的，没有太多需要配置的地方，如下： 1# 从g……
分类 perl/php/python/gawk/sed articles
Python qrcode生成二维码
qrcode是二维码生成的Python开源库，官方地址为python-qrcode。所有代码见：Python-Study-Notes。 1 简介 qrcode依赖于pillow，安装代码如下： pip install qrcode[pil] 什么是二维码QRCode？ 快速响应码Quick Response Code（QRCode）是一种二维象形码……
python报错cannot import name 'Pie' from 'pyecharts'
之前使用过pycharts进行汇图，最近更新本地的pyecharts库，使用之前的代码时，发现之前的方法不好使了，报错：cannot import name ‘Pie’ from ‘pyecharts’ 。找了下官方文档看了下，发现其现在有两个版本，v0.5.X和v1两个大版本，v0.5.X和v1间不兼容，v1是一个全新的版本。由于默认安装……
python中的map/reduce/filter函数
近期公司有项目上使用的代码涉及调用外部API接口进行多页请求，并需要把对应的数据返回后进行处理。开发人员使用了多层for嵌套循环处理，从逻辑上看，确实for循环比较简单也比较容易理解，不过性能上会略差一些。在进行响应时延过高的问题分析时，通过换用map函数代替for可以进行效率的……
嵌套json下的pandas操作
在进行json处理的时候，经常会遇到需要提取不同级别的字段内容并合并成表格，见下图所示。本篇就总结下遇到这种情况下如何进行文本内容的提取。在知乎上看到一篇《骚操作！嵌套 JSON 秒变 Dataframe》似乎和我遇到的情况类似，不过在实际处理的时候又有不同。 json-nested 先看我要处理的原始数据： 1{ 2 "code":……
统一任务管理cronsun
一、需求 公司写了很多脚本，分别部署在不同的机器上通过crontab进行管理，这里有一个缺点是，没有一个平台可以查看所有的任务执行情况和进行任务统一管理的平台。为此找了一些开源工具进行测试，测试涉及的产品如下： 国内有的有：jobx、Saturn（唯品会）、elasticjob （国内……
chrome报错ssl_client_socket_impl.cc报错解决
背景 帮公司的一个爬虫项目安装完成了google chrome headless，其在使用selenium + chrome爬取内部的一个合作厂家的站点信息时，出现了无法获取内容的情况，同时也没有明显的报错信息。使用内部httpd服务搭建的测试页，可以正常获取。 解决方法 帮其分析后，直接使用chrom……
ChatterBot聊天机器人初体验
Chatterbot 是基于pyhton实现的一个简单的聊天机器人，它需要大量对话语料来支撑它的运行。当用户给它一个输入时，它会在所有的语料库中寻找和这句话最相似的一句话，然后返回语料库中的下一句。chatterbot_corpus 是 Chatterbot 自带的语料库。本篇就先简单的写下chatterbot的安装使用。……
sqlite3 ImportError: DLL load failed报错处理
windows下python下的开发环境是基于Miniconda3搭建的，在测试某一个功能时，其默认调用的是sqlite3库进行存储。不过在调用时失败，报错信息如下： 1from _sqlite3 import * 2ImportError: DLL load failed: 找不到指定的模块 sqlite3 直接使用pip install sqlite3也提示失败。这个默认使用官方的python版本安装……
防火墙与F5数据的融合
一、背景 最近有一个需求是想基于 Neo4j 做设备关联关系的查询和关联图的输出。就是通过输入一个公网IP+端口就可以查询其对应的后端F5地址信息和realserver信息。在实现这个功能之前，需要先将防火墙数据F5数据做一个关联。效果类似如下： firewall-f5 二、数据关联 bigip F5配置，F5的配置有node、……