python requests的content和text方法的区别
requests模块的content和text属性的区别，从print 结果来看是没有任何区别的。从源码描述信息上来看，可以发现resp.text返回的是Unicode型的数据、resp.content返回的是bytes型也就是二进制的数据。也就是说，如果你想取文本，可以通过r.t……
分类 perl/php/python/gawk/sed articles
python logging配置时间或大小轮转
python中的很多模块是非常牛X的，之前提到过logging模块(其功能类似于java下的Log4j )，由于最近一个涉及网络排障的脚本需要日志输出，这里就使用了python的logging模块去实现。日志全部写到一个文件中时，随着时间的推移文件会越来越来，这里可以利用Timed……
python模块之collections
collections是Python内建的一个集合模块，提供了许多有用的集合类。Python拥有一些内置的数据类型，比如str, int, list, tuple, dict等， collections模块在这些内置数据类型的基础上，提供了几个额外的数据类型： namedtuple(): 生成可以使用名字来访问元素内容的tuple子类 deque: 双端……
awk抓取IP地址和端口
最近某交换机相关日志的输出中，需要提取到所有的IP信息，便于网络相关工程师分析统计。这个都通过简单的awk命令就可以实现。awk对字符操作可以使用正则表达式，并记录下分组,在使用r{n,m}重复匹配的语法时，需要添加–re-interval参数。如下: 1awk --re-interval '{match($0,/([0-9]{1,3}\.){3}[0-9]{1,3}/,a); print a[0]}' info.log |grep -v '^$' 如果文件中……
python持久化存储之shelve
shelve类似于一个key-value数据库，可以很方便的用来保存Python的内存对象，其内部使用pickle来序列化数据。简单来说，使用者可以将一个列表、字典、或者用户自定义的类实例保存到shelve中，下次需要用的时候直接取出来，就是一个Python内存对象，不需要像传统……
Python序列化模块pickle和cPickle
Python的序列化是指把变量从内存中变为可以储存/传输的数据/文件的过程. 在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。序列化之后，就可以把序列化后的内容写入磁盘，或者通过网……
join与python实现列合并
在 linux下powerpath对盘与更改盘符名 篇中提到了修改聚合后的多路径别名的问题，在数据库RAC增加存储盘的过程中，还会涉及一个常见的问题是多个RAC之间进行盘符名核对的问题 。这里还是以三节点RAC 加 EMC存储盘为例，安装EMCpower path软件后，通过powermt查……
Python 爬虫的工具列表大全
即然提到了爬虫，就从网上理了一份python爬虫相关的包。包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。 httplib2 – 网络库……
Scrapy爬虫框架安装与demo示例
Scrapy是一个由python语言编写的通用爬虫框架，最近项目组的一个兄弟在帮大数据那边从一些大型电商网站上爬取商口信息，就是使用scrapy来操作的。由于帮其修改了一点该项目的东西，这里也顺便记录下scray的一些内容，能写多少是多少吧。scrayp源码托管在GitHub上，……
Python读取键盘输入的2种方法
Python提供了两个内置函数1.raw_input、2.input从标准输入读入一行文本，默认的标准输入是键盘。接下来分别看下两者之间的用法和区别： 一、raw_input函数 raw_input() 函数从标准输入读取一个行，并返回一个字符串（去掉结尾的换行符）： 1str = raw_input("Enter your input: "); 2print "Received input is : ", str 这将提示你输……