Posted on | In

介绍几个python中常见的第三方库.

Pillow

Pillow简称PIL，是python中常用的图形图像处理模块。写一个简单的例子

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from PIL import Image, ImageFilter
# 打开一个jpg图像文件，注意是当前路径:
im = Image.open('test.jpg')
#获取图片大小
w,h = im.size
print('Original image size : width:%d height: %d' %(w,h))

#图片缩放
im.thumbnail((w//2, h//2))

print('Resize image to: %dx%d' % (w//2, h//2))
# 把缩放后的图像用jpeg格式保存:
im.save('test2.jpg', 'jpeg')


# 打开一个jpg图像文件，注意是当前路径:
im = Image.open('test.jpg')
# 应用模糊滤镜:
im2 = im.filter(ImageFilter.BLUR)
im2.save('blur.jpg', 'jpeg')

im2 = im.filter(ImageFilter.CONTOUR)
im2.save('contour.jpg','jpeg')

Read more »

Posted on | In

前几篇文章介绍了urllib库基本使用和爬虫的简单应用，本文介绍如何通过post信息给网站，保存登陆后cookie，并用于请求有
权限的操作。保存cookie需要用到cookiejar类，可以输出cookie信息查看下

Read more »

Posted on | In

这一篇巩固前几篇文章的学到的技术，利用urllib库爬取美女图片，其中采用了多线程，文件读写，
目录匹配，正则表达式解析，字符串拼接等知识，这些都是前文提到的，综合运用一下，写个爬虫
示例爬取美女图片。
先定义几个匹配规则和User_Agent

1
2
3
4
5
6
7
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
PATTERN1 = r'<div id="content">.*?<h2>(.*?)</h2>'                
PATTERN2 = r'<p><img src="(.*?)"'
PATTERN2 = r'<p><img class=".*?src="(.*?)"'
PATTERN3 = r'''<li class='next-page'><a target="_blank" href='(.*?)'>下一页'''
PATTERN4 = r'^(.*)/'
PATTERN5 = r'^.*/(.*?)$'

读者可以根据不同网站的代码去修改这些规则，达到匹配一些网站的目的。

Read more »

Posted on | In

利用前面学到的文件、正则表达式、urllib的知识，综合运用，爬取糗事百科的段子
先用urllib库获取糗事百科热帖第一页的数据。并打开文件进行保存，正好可以熟悉一下之前学过的文件知识。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
from urllib import request, parse
from urllib import error
page = 1
url = 'https://www.qiushibaike.com/hot/page/'+str(page)
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0'
try:
	req = request.Request(url)
	req.add_header('User-Agent', user_agent)
	response = request.urlopen(req)
	#bytes变为字符串
	content = response.read().decode('utf-8')
	print(type(content))
	#uf-8编码方式打开
	file = open('file.txt', 'w',encoding='utf-8')

	file.write(content)
	
except error.URLError as e:
	if hasattr(e,'code'):
		print (e.code)
	if hasattr(e,'reason'):
		print (e.reason)
finally:
	file.close()
Read more »

Posted on | In

什么是正则表达式

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑

正则表达式规则

Read more »

Posted on | In

C++ 教程网大并发服务器：
链接: 大并发服务器 密码: 6edt
陈硕网络编程实践：
链接: 陈硕网络编程实践 密码: 7x1d
达内C++学习：
链接: 达内C++学习 密码: bwj7
轩辕LinuxC：
链接: 轩辕LinuxC 密码: 62nt
自己总结的python源码和demo：
链接：python例子和源码
精品电子书
链接: 精品电子书 密码: 7bd5
python3.6爬虫最细教程
链接: python3.6爬虫最细教程 密码: ct27
区块链2018教程
链接: 区块链2018教程 密码: dqk5
基于epoll，select模型封装的服务器模型
链接: 基于epoll，select模型封装的服务器模型
基于libevent网络库封装的服务器模型
链接: 基于libevent网络库封装的服务器模型
基于boost::asio 封装的异步通信网络模型
链接: 基于boost::asio 封装的异步通信网络模型
Go 封装的tcp框架，同时集成了websocket，http等。
链接: golang实现的tcp框架wentby
Go 基于wentby框架封装的游戏服务器wentserver
链接: golang实现游戏服务器wentserver

Read more »

Posted on | In

python多进程

1
2
3
4
5
6
7
8
9
10
11
12
13
from multiprocessing import Process
import os

def processFunc(name):
	print("child process is %s, pid is %s"  %(name, os.getpid() ) )
	return
if __name__ == '__main__':
	print("Parent process is %s." %(os.getpid() ))
	p = Process(target = processFunc, args = ('test', ))
	print('Child will start ')
	p.start()
	p.join()
	print("Child stop")
Read more »