python实现ip和数字的互转

2015-01-03

需求：1、通过将IP转为数字方便mysql 入库减少空间占用，也便于通过python比较最终转换成的数据是否相同，从而了解IP值是否相同。这里涉及IP，并不涉及掩码部分的计算；2、可以将数字再转化为IP。一、ip转数字 1>>> ip2num = lambda x:sum([256**j*int(i) for j,i in enumerate(x.split('.')[::-1])]) 2>>> ip2num('192.168.0.1') 33232235521 通过倒序的切割索引得出每个索引位具体的值……

YAPF：Google开源的Python代码格式化工具

2014-12-24

| perl/php/python/gawk/sed 开源软件

现在的大多数 Python 代码格式化工具（比如：autopep8 和 pep8ify）是可以移除代码中的 lint 错误。这显然有些局限性。比如：遵循 PEP 8 指导的代码可能就不会被格式化了，但这并不说明代码看起来就舒服。译注：lint 是最著名的C语言工具之一，是由贝尔实验室SteveJohnson于1979在……

使用torndb模块解决mysql断连问题

2014-12-20

| perl/php/python/gawk/sed

torndb是facebook开源的一个基于MySQLdb二次封装的一个mysql模块，新封装的这个模块比较小，是一个只有2百多行代码的py文件。虽然代码短，功能确相较MySQLdb简便不少，并且该模块由于增加了reconnect方法和max_idel_time参数，解决了mys……

python mysql 断连报错处理

2014-12-19

| perl/php/python/gawk/sed

在使用python 对wordpress tag 进行细化代码处理时，遇到了调用MySQLdb模块时的出错，由于错误提示和问题原因相差甚远，查看了N久代码也未发现代码有问题。后来问了下师傅，被告知MySQLdb里有一个断接的坑，需要进行数据库重连解决。一、报错代码及提示运行出错的代码如下：……

python实现html代码转义转换

2014-12-18

| perl/php/python/gawk/sed

之前记录了从网上翻来的 Python HTMLParser处理HTML转义字符文档。不过在对带有中文字符的内容进行处理的时候会报错，代码如下： 1# cat html.py 2#/usr/bin/python 3#coding=utf-8 4import HTMLParser 5html_parser = HTMLParser.HTMLParser() 6title = 'eclipse功能<template>学习。e.g : 快速在代码中插入时间戳 - 361way.com' 7newtitle = html_parser.unescape(title) 8print newtitle 报错内容如下： 1Traceback (most……

python获取和自动插入wordpress tags标签

2014-12-17

| perl/php/python/gawk/sed

本代码纯粹是为了测试练习之用，费话不多说，直接上代码： 1#!/usr/bin/python 2#coding=utf-8 3#Author by 361way.com 4import time 5import urllib3 6import re 7import MySQLdb 8def Gtag_ID(db,tags): 9 tag_list = [100] 10 for tag in tags: 11 cursor = db.cursor() 12 id_qsql = "SELECT term_id FROM wp_terms where name=%s " 13 count = cursor.execute(id_qsql,tag) 14 if count == 0: 15 try: 16 sql = "INSERT into wp_terms (name,slug,term_group) values (%s,%s,0)" 17 data = (tag,tag) 18 cursor.execute(sql,data) 19 db.commit() 20 tag_id = cursor.lastrowid 21 print 'Add the new tag %s ,tag_id is ' %(tag),type(tag_id) 22 tag_list.append(int(tag_id)) 23 taxonomy_sql = "INSERT into wp_term_taxonomy (term_id,taxonomy,description) values (%s,'post_tag','') " % (tag_id) 24 #tax_data = (tag_id,'post_tag','',0,0) 25 cursor.execute(taxonomy_sql) 26 db.commit() 27 except: 28 db.rollback() 29 db.close() 30 else: 31 id……

Python实现字符串反转的几种方法

2014-12-08

| perl/php/python/gawk/sed

这是一道面试题，要求在Python环境下用尽可能多的方法反转字符串,例如将s = “abcdef”反转成 “fedcba” 。方法1：字符串切片 1result = s[::-1] 方法2：使用列表的reverse方法 1l = list(s) 2l.reverse() 3result = "".join(l) 4或者 5l = list(s) 6result = "".join(l[::-1]) 方法3：使用reduce 1result = reduce(lambda x,y:y+x,s) 方法4：使用递归函数 1def func(s): 2 if len(s) <1: 3 return s……

Python多线程抓取代理服务器

2014-12-04

| perl/php/python/gawk/sed

这里以抓取 http://www.proxy.com.ru 站点的代理服务器为例，代码如下： 1#!/usr/bin/env python 2#coding:utf-8 3import urllib2 4import re 5import threading 6import time 7import MySQLdb 8rawProxyList = [] 9checkedProxyList = [] 10#抓取代理网站 11targets = [] 12for i in xrange(1,42): 13 target = r"http://www.proxy.com.ru/list_%d.html" % i 14 targets.append(target) 15#抓取代理服务器正则 16p = re.compile(r'''<tr><b><td>(\d+)</td><td>(.+?)</td><td>(\d+)</td><td>(.+?)</td><td>(.+?)</td></b></tr>''') 17#获取代理的类 18class ProxyGet(threading.Thread): 19 def __init__(self,target): 20 threading.Thread.__init__(self) 21 self.target = target 22 def getProxy(self): 23 print "代理服务器目标网站： " + self.target 24 req = urllib2.urlopen(self.target) 25 result = req.read() 26 #print chardet.detect(result) 27 matchs = p.findall(result) 28# print……

python 列表去重

2014-11-27

| perl/php/python/gawk/sed

在抓取页面图片时，为避免重复抓取，将抓取的img结果（结果集是list类型的）通过集合去重。这里总结了下网上搜集到的几种方法。一、方法1 1ids = [1,2,3,3,4,2,3,4,5,6,1] 2news_ids = [] 3for id in ids: 4 if id not in news_ids: 5 news_ids.append(id) 6print news_ids 思路看起来比较清晰简单，也可以保持之前的排列顺序。二、方法2 通过set方法进行处理 1ids = [1,4,3,3,4,2,3,4,5,6,1] 2ids = list(set(ids)) 处理起来比……

python文件操作（一）基础文件操作

2014-11-15

| perl/php/python/gawk/sed

从本篇开始准备对python文件的操作做一个系统总结。基础文件操作包括文件的文件的读取、创建、追加、删除、清空；按行进行或字节读写文件等内容。一、python file open方法 Python 打开文件语法为： f = open(name[， mode[， buffering]]) 各字段含义： name: 所要打开的文件的名称， mode：打开……

包含标签 python articles

python实现ip和数字的互转

YAPF：Google开源的Python代码格式化工具

使用torndb模块解决mysql断连问题

python mysql 断连报错处理

python实现html代码转义转换

python获取和自动插入wordpress tags标签

Python实现字符串反转的几种方法

Python多线程抓取代理服务器

python 列表去重

python文件操作（一）基础文件操作

Latest articles

Categories

Tags

Links

Meta