分析ajax请求格式，模拟发送http请求，从而获取网页代码，进而分析取出需要的数据和图片。这里分析ajax请求，获取cosplay美女图片。

登陆今日头条，点击搜索，输入cosplay

Xpath最初用来处理XML解析，同样适用于HTML文档处理。相比正则表达式更方便一些

Xpath基本规则

1
2
3
4
5
6

nodename   表示选取nodename 节点的所有子节点
/          表示当前节点的直接子节点
//         表示当前节点的子节点和孙子节点
.          表示当前节点
..         当前节点的父节点
@          选取属性

下面举例使用下

BeautifulSoup是python的html解析库，处理html非常方便

BeautifulSoup 安装

pip install beautifulsoup4

BeautifulSoup 配合的解析器

1
2
3
4
5
6

# python标准库
BeautifulSoup(html,'html.parser')
#lxml HTML 解析器
BeautifulSoup(html,'lxml)
#html5lib
BeautifulSoup(html,'html5lib')

python 标准库解析器不需要第三方库，处理效率一般，lxml比较快，需要C语言库支持，html5lib不依赖第三方库，但是效率比较低，容错好。

本文介绍如何结合前面讲解的基本知识，采用requests，正则表达式，cookies结合起来，做一次实战，抓取猫眼电影排名信息。

用requests写一个基本的爬虫

排行信息大致如下图

eos基于区块链技术实现的开源引擎，开发人员可以基于该引擎开发DAPP(分布式应用)。下面搭建在windows环境下的虚拟机，并且安装eos引擎，以及配合vscode实现断点调试。

从事C++服务器开发六年多了，主要是做并发服务器和游戏相关开发，区块链技术新兴起，自己也是很感兴趣，我是零基础学区块链的，给自己设定了一个规划，先读一读区块链相关的基础和概念，以及基本算法，然后用成熟的引擎做一个demo，接下来不断深入学习。

总结grep命令知识
grep主要功能是返回指定文件中包含符合规则的文本行。

1 在指定文件file_name中查找包含match_pattern 的文本行

1

grep "match_pattern" file_name

本文介绍python如何使用数据库方面的知识。

SQLite

SQLite是一种嵌入式数据库，本身是*.db的文件。通过python操作数据库的步骤：
1 连接数据库返回connection连接
2 通过connection连接获取cursor，cursor即游标
3 通过cursor执行语句
4 通过cursor查询结果，如fetchall
5 关闭游标cursor
6 提交事务
7 关闭连接

本文介绍python发送邮件模块smtplib以及相关MIME模块。
smtplib用于生成邮件发送的代理，发送邮件前需要通过MIMEText构造邮件内容。

发送纯文本邮件

下面是个发送纯文本邮件的例子。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

import smtplib
from email.mime.text import MIMEText
msg_from='XXXXX@163.com'                                 
passwd='XXXXX'                                  
msg_to='XXXXX@qq.com'                                  
                            
subject="python邮件测试"                                       
content="这是我使用python smtplib及email模块发送的邮件"

msg = MIMEText(content)
msg['Subject'] = subject
msg['From'] = msg_from
msg['To'] = msg_to
try:
    #s = smtplib.SMTP_SSL("smtp.163.com",465)
    s = smtplib.SMTP("smtp.163.com",25)
    s.login(msg_from, passwd)
    s.sendmail(msg_from, msg_to, msg.as_string())
    print ("发送成功")
except smtplib.SMTPException as e:
    print ("发送失败")
finally:
    s.quit()

python 网络编程和基本的C语言编程一样，效率不是很高，如果为了封装通信库
建议采用C/C++做底层封装，采用epoll、poll、iocp等网络模型封装，编译成网络库
供其他模块使用。这里在python学习过程中介绍一下

TCP 编程 服务器端

1 创建套接字
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
AF_INET表示网络通信，SOCK_STRAM表示面向字节流TCP方式通信。
2 绑定端口和地址
s.bind((‘127.0.0.1’,9999))
3 监听套接字
s.listen(5)
5,表示监听队列最大多长。
4 接收客户端连接
sock, addr = s.accept()
s为生成的socket，accept接收客户端连接，返回对端描述符和地址
5 接收数据
data = sock.recv(1024)
sock为对端socket，recv接收数据，最多接收1024
6 发送数据
sock.send((‘Hello, %s’ %data.decode(‘utf-8’)).encode(‘utf-8’))
7 关闭描述符
sock.close()