爬虫---bs4语法
pip install bs4 pip进行安装，默认是从国外安装，所以需要将pip源设置为国内源，国内有豆瓣源、阿里源、网易源等等xxx 1.windows配置方式： （1）打开文件资源管理器 linux配置方式： （1）cd ~ pip install bs4 它的作用是能够快速方便简单的提取网页中指定的内容，给我一个网页字符串，然后使用它的接口将网页字符串生成一个对象，然后通过这个对象的方法来提取数据 lxml是一个解析器，也是下面的xpath要用到的库，bs4将网页字符串生成对象的时候需要用到解析器，就用lxml，或者使用官方自带的解析器 html.parser 通过本地文件进行学习，通过网络进行写代码 属性 soup.a.attrs 返回一字典，里面是所有属性和值 文本 soup.a.string soup.find('a') 返回一个列表，列表里面是所有的符合要求的对象 选择，选择器 css中 常用的选择器 滚滚长江东逝水，浪花淘尽英雄，是非成败转头看，青山依旧在，几度夕阳红bs4语法
是什麽？
BeautifulSoup，就是一个第三方的库，使用之前需要安装
配置永久国内源：
--------在地址栏中输入 %appdata%
（2）手动创建一个文件夹叫做 pip
（3）在pip的文件夹里面新建一个文件 pip.ini
（4）文件中写如下内容[global]index-url = http://pypi.douban.com/simple[install]trusted-host=pypi.douban.com
（2）mkdir .pip
（3）vi ~/.pip/pip.conf
（4）编辑内容和windows的内容一模一样安装
pip install lxmlbs4是什麽？
lxml是什麽？
bs4语法学习
（1）根据标签名进行获取节点
只能找到第一个符合要求的节点
（2）获取文本内容和属性
soup.a['href'] 获取href属性
soup.a.text
soup.a.get_text()
【注】当标签里面还有标签的时候，string获取的为None，其他两个获取纯文本内容（3）find方法
soup.find('a', class_='xxx')
soup.find('a', title='xxx')
soup.find('a', id='xxx')
soup.find('a', id=re.compile(r'xxx'))
【注】find只能找到符合要求的第一个标签，他返回的是一个对象（4）find_all
soup.find_all('a')
soup.find_all('a', class_='wang')
soup.find_all('a', id=re.compile(r'xxx'))
soup.find_all('a', limit=2) 提取出前两个符合要求的a（5）select
标签选择器、id选择器、类选择器
层级选择器**
div h1 a 后面的是前面的子节点即可
div > h1 > a 后面的必须是前面的直接子节点
属性选择器
input[name='hehe']
select('选择器的')
【注】返回的是一个列表，列表里面都是对象
【注】find find_all select不仅适用于soup对象，还适用于其他的子对象，如果调用子对象的select方法，那么就是从这个子对象里面去找符合这个选择器的标签from bs4 import BeautifulSoup# 生成soup对象soup = BeautifulSoup(open('soup.html', encoding='utf8'), 'lxml')print(type(soup))print(soup.a.attrs)print(soup.a.attrs['href'])print(soup.a['href'])print(soup.a.string)print(soup.a.text)print(soup.a.get_text())print(soup.div.string)print(soup.div.text)print(soup.div.get_text())ret = soup.find('a')ret = soup.find('a', title='清明')ret = soup.find('a', class_='dumu')print(ret)import re
ret = soup.find('a', id='xiaoge')ret = soup.find('a', id=re.compile(r'^x'))print(ret.string)ret = soup.find_all('a')print(ret[1].string)ret = soup.find_all('a', class_='wang')print(ret)ret = soup.find_all('a', id=re.compile(r'^x'))print(ret)ret = soup.select('a')ret = soup.select('#muxiong')print(ret[0]['title'])ret = soup.select('.wang')print(ret)ret = soup.select('div > a')print(ret)ret = soup.select('a[title=东坡肉]')print(ret)odiv = soup.select('.tang')[0]ret = odiv.select('a')print(ret)
白发渔樵江渚上，观看秋月春风，一壶浊酒喜相逢，古今多少事，都付笑谈中三国演义--实战
import urllib.requestimport urllib.parsefrom bs4 import BeautifulSoupimport time# 给我一个url，返回一个请求对象def handle_request(url):
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36', } return urllib.request.Request(url=url, headers=headers)def parse_first_page(url):
request = handle_request(url) # 发送请求，获取响应
content = urllib.request.urlopen(request).read().decode('utf8')
time.sleep(2) # 使用bs解析内容,生成soup对象
soup = BeautifulSoup(content, 'lxml') # print(soup) # 查找所有的章节链接对象
a_list = soup.select('.book-mulu > ul > li > a') # print(ret) # print(len(ret)) # 打开文件
fp = open('三国演义.txt', 'w', encoding='utf8') # 遍历所有的a对象 for oa in a_list: # 取出这个a的内容
title = oa.string # 取出a的href属性
href = 'http://www.shicimingju.com' + oa['href'] print('正在下载%s......' % title) # 向href发送请求，直接获取到解析之后的内容
neirong = get_neirong(href) print('结束下载%s' % title)
time.sleep(2)
string = '%s\n%s' % (title, neirong) # 将string写入到文件中
fp.write(string)
fp.close()def get_neirong(href): # 向href发送请求，获取响应，解析响应，返回内容
request = handle_request(href)
content = urllib.request.urlopen(request).read().decode('utf8') # 生成soup对象，提取章节内容
soup = BeautifulSoup(content, 'lxml') # 找包含章节内容的div
odiv = soup.find('div', class_='chapter_content')
neirong = odiv.text return neirongdef main():
url = 'http://www.shicimingju.com/book/sanguoyanyi.html' # 解析第一个页面，返回所有的章节列表
chapter_list = parse_first_page(url)if __name__ == '__main__':
main()智联招聘--实战
import urllib.requestimport urllib.parseimport timefrom bs4 import BeautifulSoupclass ZhiLianSpider(object): def __init__(self, jl, kw, start_page, end_page): # 保存到成员属性中，这样在其他的方法中就可以直接使用
self.jl = jl
self.kw = kw
self.start_page = start_page
self.end_page = end_page
self.items = [] def handle_request(self, page):
url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?'
data = { 'jl': self.jl, 'kw': self.kw, 'p': page, }
query_string = urllib.parse.urlencode(data) # 拼接url
url += query_string # print(url)
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36', } return urllib.request.Request(url=url, headers=headers) def parse_content(self, content): # 生成soup对象
soup = BeautifulSoup(content, 'lxml') # 首先找到所有的table
table_list = soup.find_all('table', class_='newlist')[1:] # print(table_list) # print(len(table_list)) # 遍历所有的table，依次提取每一个工作的信息 for table in table_list: # 职位名称
zwmc = table.select('.zwmc a')[0].text.strip('\xa0') # 公司名称
gsmc = table.select('.gsmc a')[0].text # 职位月薪
zwyx = table.select('.zwyx')[0].text # 工作地点
gzdd = table.select('.gzdd')[0].text # print(gzdd) # exit()
item = { '职位名称': zwmc, '公司名称': gsmc, '职位月薪': zwyx, '工作地点': gzdd, }
self.items.append(item) def run(self): # 搞个循环 for page in range(self.start_page, self.end_page + 1): print('正在爬取第%s页......' % page) # 拼接url的过程，构建请求对象
request = self.handle_request(page)
content = urllib.request.urlopen(request).read().decode('utf8') # 给我请求对象，解析并且提取内容
self.parse_content(content) print('结束爬取第%s页' % page)
time.sleep(2) # 将所有的工作保存到文件中
string = str(self.items) with open('work.txt', 'w', encoding='utf8') as fp:
fp.write(string)def main(): # 输入工作地点
jl = input('请输入工作地点:') # 输入工作关键字
kw = input('请输入关键字:') # 输入起始页码
start_page = int(input('请输入起始页码:')) # 输入结束页码
end_page = int(input('请输入结束页码:'))
zhilian = ZhiLianSpider(jl, kw, start_page, end_page)
zhilian.run()if __name__ == '__main__':
main()
评论 (0)