上一主题 下一主题
返回列表 发新帖

睡前故事python 库运用

[复制链接]

93

主题

269

帖子

691

积分

高级会员

Rank: 4

积分
691
发表于 2020-12-4 13:01:46 | 显示全部楼层 | 阅读模式
处理起来更加简单
  1. import requests
  2. import parsel


  3. #此函数获取故事的链接
  4. def get_url():
  5.     res = requests.get('http://book.sbkk8.com/gushihui/taijiaogushi/')
  6.     selector = parsel.Selector(res.text)
  7.     #print(selector)
  8.     url_s = selector.css('.mulu > ul > li > a::attr(href)').getall()
  9.     #print(url_s)
  10.     for url in url_s:
  11.         url = 'http://book.sbkk8.com/' + url#到这里取出了所有正确的可访问的URL
  12.         #调用下载函数
  13.         down_story(url)
  14.     print('全部爬取完成!')



  15. #根据URL下载故事
  16. def down_story(url):
  17.     res = requests.get(url)
  18.     res.encoding=res.apparent_encoding#返回的进行编码
  19.     #print(res.text)
  20.     selector = parsel.Selector(res.text)
  21.     title = selector.css('#maincontent > h1::text').get()
  22.     story_list = selector.css('#content > p::text').getall()
  23.     #print(story_list)
  24.     with open (title+'.txt','w',encoding='utf-8') as f:
  25.         for i in range(len(story_list)):
  26.             f.write(story_list[i])
  27.     print('<'+title+'>'+'  爬取成功!')





  28. if __name__ == "__main__":
  29.     get_url()
复制代码


已有1人评分威望 贡献 理由
李恒道 + 2 + 1

查看全部评分 总评分:威望 +2  贡献 +1 

Vx:rsnhkx2015  公众号:陈公子的话
回复

使用道具 举报

44

主题

431

帖子

623

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
623
发表于 2020-12-4 13:38:57 | 显示全部楼层
睡前故事有什么用?讲给妹妹听吗?
上不慕古,下不肖俗。为疏为懒,不敢为狂。为拙为愚,不敢为恶。/ 微信公众号:一之哥哥
回复

使用道具 举报

93

主题

269

帖子

691

积分

高级会员

Rank: 4

积分
691
发表于 2020-12-4 16:18:13 | 显示全部楼层
王一之 发表于 2020-12-4 13:38
睡前故事有什么用?讲给妹妹听吗?

懂得都懂
Vx:rsnhkx2015  公众号:陈公子的话
回复

使用道具 举报

发表回复

本版积分规则

快速回复 返回顶部 返回列表