睡前故事python

陈公子的话

就很糟心 写完了 才看到有个一个专门的库去处理这种问题会简单很多。。。

过几天重写一下⑧

先记录一下这个代码

1. import requests
   
2. import re
   
3. def get_stroy():
   
4.     url = 'http://book.sbkk8.com/gushihui/taijiaogushi/'
   
5. 
   
6.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36'}
   
7.     res = requests.get(url=url,headers=headers)
   
8.     res.encoding = 'gbk'
   
9.     name_list1 = re.compile(r'.html" target="_blank">(.*?)</a>').findall(res.text)
   
10.     #print(name_list1)
    
11.     name_list=[]
    
12.     #爬出来的名字中有的有其他的符号  在这里我们对他进行替换掉
    
13.     for i in range(len(name_list1)):
    
14.         a=name_list1[i].replace('<b>','')
    
15.         b=a.replace('</b>','')
    
16.         name_list.append(b)
    
17.     print(name_list)#到这里我们就得到了正确的故事标题 name_list
    
18.     #我们开始获取URL链接
    
19.     url_list1 = re.compile(r'mululist"> <a href="(.*?)" target="_blank">').findall(res.text)
    
20.     print(url_list1)
    
21.     url_list=[]
    
22.     for i in range(len(url_list1)):#循环对url进行拼接
    
23.         url_list.append(url_list1[i].replace('/gushihui/','http://book.sbkk8.com/gushihui/'))
    
24.     print(url_list)
    
25.     #到这里我们就有了所有的标题和url链接，
    
26.     #进入url取出故事内容
    
27.     story=[]
    
28.     for i in range(len(url_list)):
    
29.         url=url_list[i]
    
30.         res_story = requests.get(url)
    
31.         res_story.encoding = 'gbk'
    
32.         # print(res_story.text)
    
33.         res_story = re.compile(
    
34.             r'</span><p>.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*\s.*').findall(
    
35.             res_story.text)[0]
    
36.         # print(res_story)
    
37.         a = res_story.replace('<br style="color: rgb(34, 34, 34); font-family: sans-serif, 宋体, 微软雅黑, arial, ', '')
    
38.         a = a.replace('<u>一</u>', '')
    
39.         a = a.replace('”', '"')
    
40.         a = a.replace('</p></div>', '')
    
41.         a = a.replace(', Helvetica; line-height: 24px;" />', '')
    
42.         a = a.replace("'Helvetica Neue'", '')
    
43.         a = a.replace('“', '"')
    
44.         a = a.replace('</span><p>', '')
    
45.         a = a.replace('</html>', '')
    
46.         a = a.replace('</body>', '')
    
47.         a = a.replace('<script src="http://book.sbkk8.com/js/foot.js" type="text/javascript"></script>', '')
    
48.         a = a.replace('</div>', '')
    
49.         a = a.replace(
    
50.             '<p>声明 :本网站尊重并保护知识产权，根据《信息网络传播权保护条例》，如果我们转载的作品侵犯了您的权利,请通知我们，我们会及时删除。联系Q-Q：2-8-1-6-4-1-1-4-9-5</p>', '')
    
51.         a = a.replace('<p>2016 <b><a href="http://book.sbkk8.com">book.sbkk8.com</a></b> - 版权所有</p>', '')
    
52.         a = a.replace('<div id="footer"> ', '')
    
53.         a = a.replace(' <script src="http://book.sbkk8.com/js/pinglun.js" type="text/javascript"></script>', '')
    
54.         a = a.replace('<script src="http://book.sbkk8.com/js/adBottom.js" type="text/javascript"></script>', '')
    
55.         a = a.replace('<div class="sohuCmt1">', '')
    
56.         a = a.replace('<div class="adBottom">', '')
    
57.         a = a.replace('>【下一篇】<i>：</i></a></span>', '')
    
58.         a = a.replace("'pagedaohang'", '')
    
59.         a = a.replace('class=', '')
    
60.         a = a.replace("'/gushihui/taijiaogushi/92709.html'", '')
    
61.         a = a.replace('</span><span "toup1"><a href=', '')
    
62.         a = a.replace('<script src="http://book.sbkk8.com/js/adBottom_sougou.js" type="text/javascript"></script>', '')
    
63.         a = a.replace(
    
64.             '>【第一篇】</a></span><span "tomenu"><a href="/gushihui/taijiaogushi/" title="胎教故事" "returnIndex">【回目录】</a>',
    
65.             '')
    
66.         a = a.replace(" 'pagedaohang pagedaohang1'", '')
    
67.         a = a.replace('<div "prenext prenext1"><span "todown1"><a', '')
    
68.         a = a.replace('<p>', '')
    
69.         a = a.replace('</p>', '')
    
70.         a = a.replace('"', '"')
    
71.         a = a.replace('……', '')
    
72.         story.append(a)
    
73. 
    
74.     print(len(story))
    
75.     for i in range(len(story)):
    
76.         with open(name_list[i]+'.txt','w') as f:
    
77.             f.write(story[i])
    
78.             print(name_list[i]+'         已爬取！')
    
79. 
    
80. 
    
81. 
    
82. 
    
83. 
    
84. if __name__ == "__main__":
    
85.     get_stroy()

复制代码