syslog-ng日志应用详解
一、syslog-ng简介 1、syslog-ng功能 11年的时候用syslog-ng和pwgen配合作过一个自动修改密码，并将生成的密码通过sendEmail 程序发送到指定邮箱的应用 ，不过总的步骤并未在blog中记录。今天又有网络的同事，想让我一起搞个日志服务器，主要用于记录所有……
pandas小结（五）concat数据合并
pandas数据的行更新、表合并等操作，一般用到的方法有concat、join、merge。本篇先说concat方法。其具体用法如下： 1pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, 2 keys=None, levels=None, names=None, verify_integrity=False) 常用参数说明： objs: series，dataframe或者是panel构成的序列lsit axis： 需要合并链接的轴，0是行，1是列 j……
pandas小结（四）删除列的方法
pandas删除列有如下三种操作方式： 11.del df['columns'] #改变原始数据 22.df.drop('columns',axis=1)#删除不改表原始数据，可以通过重新赋值的方式赋值该数据 33.df.drop('columns',axis=1,inplace='True') #改变原始数据 具体总结为：凡是会对原数组作出修改并返回一个新数组的，往往都有一个 inplace可……
pandas小结（三）pandas数据的导入导出
pandas的数据导入导出功能，非常简单。pandas支持的导入数据格式有csv，excel，sql，json，html，pickle等。具体可以参看：https://pandas.pydata.org/pandas-docs/version/0.20/io.html 页面。 pandas 示例……
pandas小结（二）基础
pandas是Python中开源的，高性能的用于数据分析的库。其中包含了很多可用的数据结构及功能，各种结构支持相互转换，并且支持读取、保存数据。结合matplotlib库，可以将数据已图表的形式可视化，反映出数据的各项特征。pandas的一些基本使用方法，具体可以参数下图（后面会……
pandas小结（一）数据设置
pandas是python下一个很牛X的数据分析的模块。在进行这部分总结的时候，我一些在考虑如何设置篇幅。想了一圈，决定第一篇不去介绍pandas的其他内容，先是以玩的心态了解下怎么去构造数据。怎么去改数据。玩过了以后，第二票再去介绍理论的东西。不废话，进主题。 1、创建测试数据 1#!/usr/bin/env……
inotify与Auditd实现文件操作记录和审计
业务反馈现网某个目录下的文件发现两次被删除，不过没有具体的删除时间，也不知道是被什么程序删除的，所以提出一个需求是希望通过监控该目录下的相关文件，一旦发现被删除后，可以通过记录写到logfile里 。最初想到的是通过 inotify 功能实现记录，后来发现auditd记录的信息更详细一些，这里分别……
frp内网穿透
frp 是一个可用于内网穿透的高性能的反向代理应用，支持 tcp, udp, http, https 协议。其项目主页是：https://github.com/fatedier/frp 。 其原理如下图： frp 比如某用户想在家里能够连上公司内部的某台主机的环境，需要在某主机上运行frpc程序，还需要有一台具有公网IP的主机（在公司……
HTTP缓存机制
一、有关缓存 缓存机制无处不在，有客户端缓存，服务端缓存，代理服务器缓存等。在HTTP中具有缓存功能的是浏览器缓存。最早在2013-2014年左右公司有使用squid、varinish、nginx的proxy_cache做web缓存加速。HTTP缓存作为web性能优化的重要手段，本……
python异步 I/O模块gevent
一、gevent与monkey patch 在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。在任何时刻，只有一个协程在运行。这与multiprocessing或thr……