睡前故事python 库运用

陈公子的话

处理起来更加简单

1. import requests
   
2. import parsel
   
3. 
   
4. 
   
5. #此函数获取故事的链接
   
6. def get_url():
   
7.     res = requests.get('http://book.sbkk8.com/gushihui/taijiaogushi/')
   
8.     selector = parsel.Selector(res.text)
   
9.     #print(selector)
   
10.     url_s = selector.css('.mulu > ul > li > a::attr(href)').getall()
    
11.     #print(url_s)
    
12.     for url in url_s:
    
13.         url = 'http://book.sbkk8.com/' + url#到这里取出了所有正确的可访问的URL
    
14.         #调用下载函数
    
15.         down_story(url)
    
16.     print('全部爬取完成！')
    
17. 
    
18. 
    
19. 
    
20. #根据URL下载故事
    
21. def down_story(url):
    
22.     res = requests.get(url)
    
23.     res.encoding=res.apparent_encoding#返回的进行编码
    
24.     #print(res.text)
    
25.     selector = parsel.Selector(res.text)
    
26.     title = selector.css('#maincontent > h1::text').get()
    
27.     story_list = selector.css('#content > p::text').getall()
    
28.     #print(story_list)
    
29.     with open (title+'.txt','w',encoding='utf-8') as f:
    
30.         for i in range(len(story_list)):
    
31.             f.write(story_list[i])
    
32.     print('<'+title+'>'+'  爬取成功！')
    
33. 
    
34. 
    
35. 
    
36. 
    
37. 
    
38. if __name__ == "__main__":
    
39.     get_url()

复制代码

王一之

睡前故事有什么用?讲给妹妹听吗?

陈公子的话

王一之 发表于 2020-12-4 13:38
睡前故事有什么用?讲给妹妹听吗?

懂得都懂