首先介绍beautifulsoup这个库，因为最开始接触爬虫的时候，就看到大家强力推荐这个库。后来用了下，觉着确实不错。但是程序员嘛，哪能在一个库里闷死，哈哈。
几个库的安装过程就不再累述，参考anaconda。-_-.
后面几个实例，均用这个来测试。
html = """<html><head><title>the dormouse's story</title></head><body><p class="myclass" name="dromouse"><b>the dormouse's story</b></p><p class="story">once upon a time there were three little sisters; and their names were<a href="http://example.com/elsie" class="myclass" id="box"><!-- elsie --></a>,<a href="http://example.com/lacie" class="myclass" id="box1">lacie</a> and<a href="http://example.com/tillie" class="myclass" id="box2">tillie</a>;and they lived at the bottom of a well.</p><p class="story">...</p>"""
beautifulsoup
beautiful soup支持python标准库中的html解析器,还支持一些第三方的解析器。例如lxml html，lxml xml，html5lib。不过要安装这些库，否则它会使用python的内部标准库。
beautifulsoup的对象创建有两种方式。
1.soup=beautifulsoup(html) #用变量内容来创建
2.soup=beautifulsoup('mysite.html') #用本地文件来创建
beautifulsoup是将html转化为一个复杂的树形结构，每个节点都是python对象，有前端基础的同学会知道，类似dom对象。beautifulsoup中的对象大致有四种，tag、navigablestring、beautifulsoup、comment。由于我们平时操作大多数是针对一个个标签提取信息，所以我简略的叙述下常用到的tag对象。
tag
tag就是html的一个个标签。
例如html中的 head，title，a,p等等。
在实际操作中，我们会将所需要的标签通过选择器查找出来，然后通过操作tag对象来获取所需信息。在beautifulsoup中，常用的findall()和find()来搜索文档树来获取自己所需的标签。同时，beautifulsoup也支持css语法来搜索，select()方法，返回的类型是list。
ps:
1.findall()等同于find_all()
2.对前端比较了解的，用select()方法比较顺手。
find()
find()相当于findall()中limit=1的时候，不过find()返回的是结果，findall()返回的是一个列表。
css选择器
beautifulsoup支持css语法的选择器来查找所需要的标签。
select(css选择器)例：soup.select('.myclass #box')#后代选择器soup.select('head>title')#子选择器soup.select('div+p')#相邻兄弟选择器soup.select('div~p’)#后续兄弟选择器
同时还可以加入属性查找。
soup.select('.myclass a[id="box"]')
select()方法返回的是列表形式。
以上差不多就是beautifulsoup常用的功能
以上就是让python更便捷-简介python常用的标准库与介绍的详细内容。