python re清理html

2014-11-03

代码 1def formatHtml(input): 2 regular = re.compile('<\bp\b[^>]*>',re.IGNORECASE) 3 input = regular.sub('<p>',input) 4 regular = re.compile('</?SPAN[^>]*>',re.IGNORECASE) 5 input = regular.sub('',input) 6 regular = re.compile('</?o:p>',re.IGNORECASE) 7 input = regular.sub('',input) 8 regular = re.compile('</?FONT[^>]*>',re.IGNORECASE) 9 input = regular.sub('',input) 10 regular = re.compile('</?\bB\b[^>]*>',re.IGNORECASE) 11 input = regular.sub('',input) 12 regular = re.compile('<?[^>]*>',re.IGNORECASE) 13 input = regular.sub('',input) 14 regular = re.compile('</?st1:[^>]*>',re.IGNORECASE) 15 input = regular.sub('',input) 16 regular = re.compile('</?\bchsdate\b[^>]*>',re.IGNORECASE) 17 input = regular.sub('',input) 18 regular = re.compile('<\bbr\b[^>]*>',re.IGNORECASE) 19 input = regular.sub('<br>',input) 20 regular = re.compile('</?\bchmetcnv\b[^>]*>',re.IGNORECASE) 21 input = regular.sub('',input) 22 regular = re.compile('<script[^>]*?>.*?</script>',re.IGNORECASE+re.DOTALL) 23 input = regular.sub('',input) 24 return input 是用re注意： 1、def sub(pattern, repl, string, count=0, flags=0): 第三个参数是count很容易误用成flags. 2、re.……

python strip_tags实现

2014-11-02

| perl/php/python/gawk/sed

Sometimes it is necessary to remove all (or some subset of) xml style tags (eg.) from a string. If you’re familiar with PHP, then you probably already know about the strip_tags() function. Here is a simple equivalent to strip_tags() written in Python. 1## Remove xml style tags from an input string. 2# 3# @param string The input string. 4# @param allowed_tags A string to specify tags which should not be removed. 5def strip_tags(string, allowed_tags=''): 6 if allowed_tags != '': 7 # Get a list of all allowed tag names. 8 allowed_tags_list = re.sub(r'[\/<> ]+', '', allowed_tags).split(',') 9 allowed_pattern = '' 10 for s in allowed_tags_list: 11 if s == '': 12 continue; 13 # Add all possible patterns for this tag to the regex. 14 if allowed_pattern != '': 15 allowed_pattern += '|' 16 allowed_pattern……

Python正则表达式指南

2014-11-01

| perl/php/python/gawk/sed

本文介绍了Python对于正则表达式的支持，包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式，这些主题请查看其他教程。 1. 正则表达式基础 1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用……

python twisted异步采集

2014-10-26

| perl/php/python/gawk/sed

对于大量的数据采集除了多线程，就只有异步来实现了。本文是通过twisted框架来实现异步采集，原文来自：http://oubiwann.blogspot.com/2008/06/async-batching-with-twisted-walkthrough.html 。 Async Batching with Twisted: A Walkthrough……

一行 Python 实现并行化 — 日常多线程操作的新思路

2014-10-21

| perl/php/python/gawk/sed

Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏“重”。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。传统的例子简单搜索下“Python 多线程教程”，不难发现几乎所有的教……

python模块paramiko与ssh

2014-10-19

| perl/php/python/gawk/sed

paramiko是用python语言写的一个模块，遵循SSH2协议，支持以加密和认证的方式，进行远程服务器的连接。paramiko支持Linux, Solaris, BSD, MacOS X, Windows等平台通过SSH从一个平台连接到另外一个平台。利用该模块，可以方便的进行ssh连接和sftp协议进行sftp文件……

python pexpect模块封装ssh

2014-10-19

| perl/php/python/gawk/sed

很多时候需要批量在一批主机上执行某个操作时，利用python 可以很好的完成这个工作。如果在现网主机上没有部署自动化工具时，同时你又不想使用paramiko这样相对重量级的模块，你可以通过pexpect模块通过一个简单的spawn执行并交互完成一些简单的命令操作。 pexpect模块……

python torndb模块

2014-10-06

| perl/php/python/gawk/sed

一、torndb概述 torndb是一个轻量级的基于MySQLdb封装的一个模块，其是tornado框架的一部分。其项目主页为：https://github.com/bdarnell/torndb 。从tornado3.0版本以后，其已经作为一个独立模块发行了。可以通过easy_in……

Python MySQLConnector模块

2014-10-06

| perl/php/python/gawk/sed

MySQL Connector/Python 是 MySQL 官方提供的 Python 连接 MySQL 数据库的驱动程序.下载地址为： http://www.mysql.com/downloads/connector/python/，其为mysql官方推出的一个python数据库模块，相较于MySQLdb模块来说，其支持python3，而MySQLdb目前只……

python MySQLdb模块小结

2014-10-05

| perl/php/python/gawk/sed

一、编码问题使用mysql 进行中文数据插入时，经常会遇到插入的数据变乱码的问题。这里以经常用的utf8 编码为例，需要在创建数据库时先指定编码为utf8 ，如下： 1create database test character set uft8; 在使用python MySQLdb进行连接时，使用以下代码： 1#!/usr/bin/python 2# encoding: utf-8 3import MySQLdb 4# 打开数据库连接 5db = MySQLdb.connect("localhost","root","361way","test",charset="utf8",init_command="set names utf8" ) 经测试，我在……

包含标签 python articles

python re清理html

python strip_tags实现

Python正则表达式指南

python twisted异步采集

一行 Python 实现并行化 — 日常多线程操作的新思路

python模块paramiko与ssh

python pexpect模块封装ssh

python torndb模块

Python MySQLConnector模块

python MySQLdb模块小结

Latest articles

Categories

Tags

Links

Meta