python MySQLdb模块
python连接mysql 的方案有oursql、PyMySQL、 myconnpy、MySQL Connector 等，不过本篇要说的确是另外一个类库MySQLdb，MySQLdb 是用于Python链接Mysql数据库的接口，它实现了 Python 数据库 API 规范 V2.0，基于 MySQL C API 上建立的。可以从：https://……
包含标签 python articles
python图片采集
本例是一个通过BeautifulSoup模块解析处理后进行img下载的示例，可以指定下载的路径，代码如下： 1# ImageDownloader.py 2# Finds and downloads all images from any given URL recursively. 3# FB - 20140223 4import sys 5import os 6import urllib2 7from os.path import basename 8import urlparse 9from BeautifulSoup import BeautifulSoup # for HTML parsing 10urlList = [] 11# recursively download images starting from the root URL 12def downloadImages(url, level): # the root URL is level 0 13 # do not go to other websites 14 global website 15 netloc = urlparse.urlsplit(url).netloc.split('.') 16 if netloc[-2] + netloc[-1] != website: 17 return 18 global urlList 19……
三个多线程采集网站图片的示例
采集代码一 1#! /usr/bin/env python 2# -*- coding: utf-8 -*- 3import os ,sys ,urllib2,socket 4import re 5import time 6from threading import Thread 7from Queue import Queue 8DOWNLOAD_BASEDIR = os.path.join(os.path.dirname(__file__), 'download') #保存地址 9socket.setdefaulttimeout(30) 10THREAD_COUNT = 5 #线程数量 11def md5sum(s): 12 try: 13 import hashlib 14 m = hashlib.md5() 15 m.update(s) 16 return m.hexdigest() 17 except: 18 import md5 19 m = md5.new() 20 m.update(s) 21 return m.hexdigest() 22class spiderList(Thread): 23 def __init__(self ,queue): 24 Thread.__init__(self) 25 self.queue = queue 26 def run(self): 27 pages = [] 28 #这个网站列表的页数从第1页到第117页 29 for i in range(1,117): 30 pages.append('http://xxx.com/?page=%s' % i) 31 self.queue.put(pages) 32 self.queue.task_done() 33class spiderDetail(Thread): 34 def __init__(self,queue): 35 Thread.__init__(self) 36 self.queue =……
python pycurl模块
一、pycurl概述 PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的，并且容易使用的用在客户端的 URL 传输库。它的功能很强大，在PyCURL的主页上介绍的支持的功能有：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy……
Python之startswith与endswith函数
在Python中有两个函数分别是startswith()函数与endswith()函数，功能都十分相似，startswith()函数判断文本是否以某个字符开始，endswith()函数判断文本是否以某个字符结束。其返回值为布尔型，为真时返回True，否则返回False。 一、语法结……
Python显示进度条
一、进度条实现原理 进度条和一般的print区别在哪里呢？ 答案就是print会输出一个n，也就是换行符，这样光标移动到了下一行行首，接着输出，之前已经通过stdout输出的东西依旧保留，而且保证我们在下面看到最新的输出结果。 进度条不然，我们必须再原地输出才能保证他是一个进度条，否则……
python远程监控
最近用python写了一个远程监控的程序，主要功能有：1.获取系统信息 2.对屏幕进行截图，屏幕截图发送到邮箱 3.可以用摄像头获取图片，这些图片上传到七牛 4.开机自启动 1import win32api 2import win32con 3import platform 4import socket 5import time 6import os 7import smtplib 8import poplib 9from VideoCapture import Device 10from email.mime.multipart import MIMEMultipart 11from email.mime.text import MIMEText 12from email.mime.image import MIMEImage 13import poplib,email 14from email.header import decode_header 15from PIL import ImageGrab 16import qiniu.conf 17import qiniu.io 18import qiniu.rs 19#去七牛申请 20qiniu.conf.ACCESS_KEY……
用Python chardet库来判断文件编码
抓取一批页面的内容时，经常会遇到编码类型不同的问题。对于简体中文站点来说，一般只有uft8、gb2312两种，如果再加上繁体文，编码类型又会增加。如果想将一批页面的结果合并在一起进行观看的话，如果编码不同，往往会造成乱码的问题。而一个个的页面去查看也相当麻烦。 上面的问题如果使用p……
python判断list是否为空
判断一个 list 是否为空 传统的方式： 1if len(mylist): 2 # Do something with my list 3else: 4 # The list is empty 由于一个空 list 本身等同于 False，所以可以直接： 1if mylist: 2 # Do something with my list 3else: 4 # The list is empty……
Python判断图片真实类型
仅仅根据文件后缀判断文件类型显然不准，在python有一个内置模块imghdr可以用来判断图片的真实类型。代码如下： 1import imghdr 2imgType = imghdr.what(imageFile) 将会输出gif，png，jpeg等图片类型 。其原理是通过读取文件的开头的一段字符进行类型匹配 。具体查看了下代码，imageFile只能是本地文件，不可以是……