python torndb模块

一、torndb概述 torndb是一个轻量级的基于MySQLdb封装的一个模块,其是tornado框架的一部分。其项目主页为:https://github.com/bdarnell/torndb 。从tornado3.0版本以后,其已经作为一个独立模块发行了。可以通过easy_in……

Continue reading

Python MySQLConnector模块

MySQL Connector/Python 是 MySQL 官方提供的 Python 连接 MySQL 数据库的驱动程序.下载地址为: http://www.mysql.com/downloads/connector/python/,其为mysql官方推出的一个python数据库模块,相较于MySQLdb模块来说,其支持python3,而MySQLdb目前只……

Continue reading

python MySQLdb模块小结

一、编码问题 使用mysql 进行中文数据插入时,经常会遇到插入的数据变乱码的问题。这里以经常用的utf8 编码为例,需要在创建数据库时先指定编码为utf8 ,如下: 1create database test character set uft8; 在使用python MySQLdb进行连接时,使用以下代码: 1#!/usr/bin/python 2# encoding: utf-8 3import MySQLdb 4# 打开数据库连接 5db = MySQLdb.connect("localhost","root","361way","test",charset="utf8",init_command="set names utf8" ) 经测试,我在……

Continue reading

python MySQLdb模块

python连接mysql 的方案有oursql、PyMySQL、 myconnpy、MySQL Connector 等,不过本篇要说的确是另外一个类库MySQLdb,MySQLdb 是用于Python链接Mysql数据库的接口,它实现了 Python 数据库 API 规范 V2.0,基于 MySQL C API 上建立的。可以从:https://……

Continue reading

python图片采集

本例是一个通过BeautifulSoup模块解析处理后进行img下载的示例,可以指定下载的路径,代码如下: 1# ImageDownloader.py 2# Finds and downloads all images from any given URL recursively. 3# FB - 20140223 4import sys 5import os 6import urllib2 7from os.path import basename 8import urlparse 9from BeautifulSoup import BeautifulSoup # for HTML parsing 10urlList = [] 11# recursively download images starting from the root URL 12def downloadImages(url, level): # the root URL is level 0 13 # do not go to other websites 14 global website 15 netloc = urlparse.urlsplit(url).netloc.split('.') 16 if netloc[-2] + netloc[-1] != website: 17 return 18 global urlList 19……

Continue reading

三个多线程采集网站图片的示例

采集代码一 1#! /usr/bin/env python 2# -*- coding: utf-8 -*- 3import os ,sys ,urllib2,socket 4import re 5import time 6from threading import Thread 7from Queue import Queue 8DOWNLOAD_BASEDIR = os.path.join(os.path.dirname(__file__), 'download') #保存地址 9socket.setdefaulttimeout(30) 10THREAD_COUNT = 5 #线程数量 11def md5sum(s): 12 try: 13 import hashlib 14 m = hashlib.md5() 15 m.update(s) 16 return m.hexdigest() 17 except: 18 import md5 19 m = md5.new() 20 m.update(s) 21 return m.hexdigest() 22class spiderList(Thread): 23 def __init__(self ,queue): 24 Thread.__init__(self) 25 self.queue = queue 26 def run(self): 27 pages = [] 28 #这个网站列表的页数从第1页到第117页 29 for i in range(1,117): 30 pages.append('http://xxx.com/?page=%s' % i) 31 self.queue.put(pages) 32 self.queue.task_done() 33class spiderDetail(Thread): 34 def __init__(self,queue): 35 Thread.__init__(self) 36 self.queue =……

Continue reading

python pycurl模块

一、pycurl概述 PycURl是一个C语言写的libcurl的python绑定库。libcurl 是一个自由的,并且容易使用的用在客户端的 URL 传输库。它的功能很强大,在PyCURL的主页上介绍的支持的功能有:FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP. libcurl supports HTTPS certificates, HTTP POST, HTTP PUT, FTP uploading, kerberos, HTTP form based upload, proxies, cookies, user+password authentication, file transfer resume, http proxy……

Continue reading

wordpress使用二级域名做图片加速

网站前期的规划很重要,很多网站在前期做的时候都会将img等静态资源和动态页面通过域名方式进行划分好。这里以wordpress为例,也支持将所有的图所传到二级域名上,如img.361way.com ,然后可以自己通过varnish或者第三方的加速进行加速。 一、修改options.ph……

Continue reading

Latest articles

Categories

Tags

ACL AD AES AI Alpine Android Anpic Ansible Apache Apm Apparmor Appfog Apr Apt-Get Aria2 Array Atlassian Atop Audit Awk AWS Awstats Axel Azure Backdoor Backup Bamboo Bash Bat Benchmark Bigdata Bin Bind Bitwise Blockchain BMC Book Bootstrap Brocade Bsd C1000 Cache Capistrano Catlog CDH5 Centos Centos7 Chatops Chattr Check_mk Checkinstall Cisco CL210 Clickhouse Cloud Cloud-Desktop Cmdb Cms Cobbler Collectd Comm Compress Confd Conver Corosync Cpu Crontab Crunchbang Css Curl C语言 Date DDOS Decode Dell Desktop Devops Df Dhcp Diff Diskpart DISTINCT Django DNS Docker Dos2unix Dpkg Drupal Duckdb EKS ELK Etcd Excel Fail2ban Fastcgi Fdisk Fiddler Find Firewalld Flask Flvtool Ftp Function Fuser GCP Geek Ghost Gin Git Github Gitlab Glances Glusterfs Go Godaddy Golang Google Gooupadd Grafana Graphviz Gravatra Grep Grub2 Hadoop Haproxy Hardware HBA HCIE Heartbeat Helm Hexdump Hhvm History Hotspot Html Http/Html/Web Http/Html/Web Httplogs Https HttpWatch Huawei Huaweicloud Hugo IBM Icmp Iconv Ifconfig IIS InfluxDB Ingress InnoDB Inotify Iopp IOS Ipmitool Iptables Iredmail Iscsi Isito It-News Java JavaScript Jdk Jenkins Jinja2 Jira Join Joomla K3s K8s Kdump Keepalived Kernel Kingate KVM Lamp Last Leetcode Lib Linux Linux高级篇 Ln Ls Lsi Lsof Lvm Lvs Mac Mail Man Mark Markdown Matplotlib Maven Memcached Microservice Mimikatz Mkdocs Mkpasswd Mmonit Mod_jk Mongodb Monit Monitor Mono Moodle Mosh Mount Mplayer Mpm Mrtg Mtr My.cnf Mysql Mysqlbinlog Mysqld_multi MySQLdb Mysqldump Mysqlhotcopy Nagios Nc Nethogs Netlify Nexus Nfs Nginx Nmon Nocatlog Node.js Nrpe Ntfs Ntop Ntp Obs Ocr Open-Falcon Openbox Opencv Openldap OpenResty Openssl Openstack Oracle Oswatch Paas Pacemaker Pam Pandas Parted Pcp Pcre Pdf Percona Perl Pexpect Pgrep Php Php-Fpm Ping Plsql Develope PM Postfix PostgreSQL Powershell Prettify Proc Prometheus Puppeteer Pushd Pwgen Pxe Pyecharts Python Python模块 QoS Radmin Raid Rdesktop Read Redhat Redis Redmine Regex Rh134 RH318 RH442 RHCA RHCE Rhel7 Rhel8 RHEV Rm Rman Rootkit Route Rpm Rpmforge Rrdtool RSA Rsync Rsyslog Safe Saltstack Samba Scapy Screen SecureCRT Sed Selenium Selinux Seo Seq Session Set Shc Sheepdog Shell Shopt Sitemap Skydns Smokeping Snffier Snmp Socket Soft Sort Spider Sql Sqlserver Squid SRE Ss Ssh Sshpass Statuscode Strace Strings Su SublimeText2 Sudo Suse Svn Sysbench Syslog-Ng Sysstat Systemd T Tar TC Tcpcopy Tcpdump Tech Telecom Telnet Tencentcloud Tengine Test Testlink Threads Time Tmux Tomcat Touch Tr Tsar Twisted Ubuntu Udev Ulimit Unix Unixbench User-Agent Useradd Varnish VBA Vbs Vercel Vi Vim Visudo Vmstat Vmware Vnc Voice Vpn Vscode Vsftp Vsftpd Vue Watchdog Web Webcam Webistrano Wget Wiki Windows Wol Wordpress Workshop Wsl X-Windows Xampp Xcache Xmllint Xtrabackup Yule Yum Zabbix Zeromq Zip Zonetime Zookeeper 下载工具 云主机 云原生 代理 加密 古意 吐槽 圈里圈外 娱乐 字符串函数 安全 平台架构 推理 提权 故事汇 故障案例 数据结构 每日看点 民国史 生活 科学记录 站长管理工具 算法 管理 网站架构 翻墙 股票 行业 诗韵 负载均衡 远程管理 面试题

Links

Meta