1. 爬虫的选取：scrapy和requests+beautifuisoup

　　scrapy是框架，而requests和beautifulsoup是库。scrapy框架是可以加如requests和beautifulsoup库的，而scrapy是基于twisted，性能是最大的优势。scrapy方便扩展，提供很多内置的功能。scrapy内置的css和xpath selector非常方便，beautifulsoup就是有点慢。

2.常见网页分类

　　静态网页，动态网页、webservice

3.爬虫能做什么

　　1）搜索引擎---百度、google、垂直领域搜索引擎

　　2）推荐引擎---今日头条

　　3）机器学习的数据样本

　　4）数据分析（如金融数据分析）、舆情分析等

4.正则表达式

　　1）特殊字符（^）

代码：

　　　　　　import re

　　　　　　"""

　　　　　　1）^"必须是^后面的字符"

　　　　　　2) .是除了\n的任意字符

　　　　　　3) *是一个限定符，用来修饰前一个字符或分组，限定匹配重复的数量为任意数量。

　　　　　　"""

　　　　　　#”^“、”.“、”ד测试

　　　　　　test_str = "zzbaby"

　　　　　　reg_str = "^b.*"

　　　　　　if re.match(reg_str,test_str):

　　　　　　　　print("yes")

　　　　　　else:

　　　　　　　　print("no")

结果：

　　　　no　

　　2）特殊字符（$）

代码：

　　　　""" 　　　　1)$"表示必须有以$前面的字符结尾" 　　　　""" 　　　　reg_str_1 = ".*y$" 　　　　if re.match(reg_str_1,test_str):    　　　　 print("yes") 　　　　else:    　　　　 print("no") 结果： 　　　　　yes

　　3）特殊字符（?）

代码：

""" 1)?表示非贪婪模式 """

　　　test_str = "zbbbbbbzzbaby"

　　reg_str_2 = ".*?(z.*?z).*"#？表示从左边开始匹配遇到第一个Z就开始进入匹配第二个？表示不要贪婪太多只需要匹配遇到第二个z就结束 　　if re.match(reg_str_2,test_str):    　　 print(re.match(reg_str_2,test_str).group(1))#表示提取第一次符合reg_str_2的字符,正则表达式是反向匹配的 　　else:    　　 print("error") 结果： 　　zbbbbbbz 4）特殊字符+ 代码：

　　""" 　　1）+是一个限定符，用来修饰前一个字符或分组，限定匹配重复的数量至少为一次数量。 　　""" 　　reg_str_3 = "(.+.*)"#正则表达式默认是贪婪模式 　　if re.match(reg_str_3,test_str):   　　  print(re.match(reg_str_3,test_str).group(1))#表示提取第一次符合reg_str_2的字符,正则表达式是反向匹配的 　　else:    　　 print("error") 结果： 　　zbbbbbbzzbaby 5）特殊字符{} 代码：

　　""" 　　1){2}表示大括号里面出现的数字是前面出现的次数 　　2){2,}表示大括号数值以上的次数 　　3){2,5}表示2次以上5次以下 　　""" 　　reg_str_4 ="(.{2}.)"#表示出现前两个字符 　　reg_str_5= "(.+b{2,})"#表示b前面要至少有一个字符后匹配2个以上的b 　　reg_str_6= "(.+b{1,6})"#表示b前面要至少有一个字符后匹配1个以上的b，6个以下的b  　 print(re.match(reg_str_4,test_str).group(1))#表示打印前两个字符  　 print(re.match(reg_str_5,test_str).group(1))#表示两次以上的字符，由于贪婪所以会打印最长  　 print(re.match(reg_str_6,test_str).group(1))#打印的是在b之前至少存在1个字符而且b出现的次数在1次以上6次以下 　结果：

　　　　zbb

　　　zbbbbbb

　　　zbbbbbb

6）特殊字符|

 代码：　

　　""" 　　1)表示或者的意思 　　""" 　　reg_str_7 = "(zz|zb)"#提取zz或者zb优先左边打印 　　print(re.match(reg_str_7,test_str).group(1))#group中的数字代表的是括号的层数，常常用于提取子字符串 结果： 　　zb

7）特殊字符[] 代码： 　　""" 　　1)[]相当于只能输入[]中的字符 　　2)[]有一种使用方法[0-9]只能输入0-9之间的数据 　　3)[]还有一种使用方法[^1]表示只能输入不是1的数据 　　""" 　　#[]的前一种使用方式 　　print("请输入一个电话号码：") 　　#test_str = input() 　　reg_str_1 ="1[3578][0-9]{9}"#表示第二位只能输入3、5、8、7的数值，[0-9]则表示输入1-9之间的数据 　　if re.match(reg_str_1,test_str): 　　 print(test_str) 　　else: 　　 print("error") 　　#[^]的使用方法 　　print("输入一个最后不为1的电话号码：") 　　test_str = input() 　　reg_str_1 ="1[3578][0-9]{8}[^1]{1}"#表示第二位只能输入3、5、8、7的数值，[0-9]则表示输入1-9之间的数据,最后一位不能为1 　　if re.match(reg_str_1,test_str): 　　 print(test_str) 　　else: 　　 print("error") 输出： 　　请输入一个电话号码： 　　　　error 　　输入一个最后不为1的电话号码： 　　　　15837140221 　　　　error 8）特殊字符\s 代码： 　　

　　""" 　　1)\s表示匹配一个空格 　　2)\S表示只要不是空格都可以 　　3)\w表示任意一个字符都可以[A-Za-z0-9_]都可以 　　4）\W表示与\w相反 　　""" 　　#\s的作用 　　test_str ="你 好"#汉字 　　test_str_1 ="hh aa"#英文 　　reg_str_8 ="你\s好" 　　reg_str_9 = "hh\saa" 　　if re.match(reg_str_8,test_str):   　　  print(test_str) 　　if re.match(reg_str_9,test_str_1):   　　  print(test_str_1) 　　else:   　　  print("error") 　　#\S的作用与\s的作用相反 　　test_str ="hhsaa"#英文 　　reg_str_10 = "hh\Saa" 　　if re.match(reg_str_10,test_str):  　　   print(test_str) 　　else: 　　    print("error") 　　#\w的使用方式 　　test_str ="hh@aa"#英文 　　reg_str_11 = "hh\waa"#\w相当于[a-zA-Z0-9_] 　　if re.match(reg_str_11,test_str): 　　    print(test_str) 　　else:  　　   print("error") 　　#\W的使用方式与\W相反 　　test_str ="hh@aa"#英文 　　reg_str_12 = "hh\Waa"#\W相当于[a-zA-Z0-9_]相反 　　if re.match(reg_str_12,test_str): 　　    print(test_str) 　　else:   　　  print("error") 输出结果： 　　

　　你 好

　　hh aa

　　hhsaa

　　error

　　hh@aa

9）特殊字符[\u4E00-\9FA5]

代码：

　　""" 　　1）[\u4E00-\u9FA5]只识别汉字 　　""" 　　test_str ="你好"#汉字 　　reg_str_13 = "[\u4E00-\u9FA5]+" 　　if re.match(reg_str_13,test_str):  　　   print(test_str) 　　else:  　　   print("error") 运行结果： 　　你好 10）特殊字符\d 代码：

　　""" 　　1)\d代表的数字 　　""" 　　test_str = "aaaaaa123" 　　reg_str_13 = ".*(.+[2]\d).*"#提起123 　　if re.match(reg_str_13,test_str):     　　print(re.match(reg_str_13,test_str).group(1)) 　　else:   　　  print("error") 结果： 　　123