我爬取了空间说说,看看成长中的自己在说什么?

##0x01 分析
  先分析QQ空间说说页面,确定我们要爬取的内容,我要爬取的是说说内容。由于QQ空间用户巨大,不可能采用静态输出内容,很有可能是通过接口获取用户说说信息然后进行渲染输出。为了验证我们的猜想我们看下网络请求。

1.png
图片.png

##0x02 数据爬取
可以确定该接口即为说说接口,有了接口剩下的就好操作了,直接撸代码爬数据。接口返回的数据是JSON格式,直接解析就OK。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#-*- coding:utf-8 -*-
#
from bs4 import BeautifulSoup
#from urlparse import urljoin
import requests
import json
import csv
import sys
import re
import time
import codecs
reload(sys)
sys.setdefaultencoding( "utf-8" )

csv_file = file("rent.csv","ab+") #打开rent.csv
csv_file.write(codecs.BOM_UTF8)
csv_writer = csv.writer(csv_file, delimiter=',') # 创建writer对象,指定文件与分隔符
def get_cookie():
with open('cookie.txt','r') as f:
cookies={}
for line in f.read().split(';'):
name,value=line.strip().split('=',1) #1代表只分割一次
cookies[name]=value
return cookies


def get_row(i):
url = "https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin=1056680519&inCharset=utf-8&outCharset=utf-8&hostUin=1056680519&notice=0&sort=0&pos={pos}&num=20&cgi_host=http%3A%2F%2Ftaotao.qq.com%2Fcgi-bin%2Femotion_cgi_msglist_v6&code_version=1&format=jsonp&need_private_comment=1&g_tk=1835140580&qzonetoken=79638c17978916ad05939c80583e2478e6b640717a4063ed5d0c6b4d5156fad804db82c1518aad5ff4"
response = requests.get(url.format(pos=i),cookies=get_cookie()) # 抓取目标页面
text = json.loads(response.text[10:-2])
max = len(text["msglist"])
for x in range(0,max):
conlist = text["msglist"][x]["conlist"]
created_time = text["msglist"][x]["created_time"]
cmtnum = text["msglist"][x]["cmtnum"]
time_local = time.localtime(created_time)
dt = time.strftime("%Y-%m-%d %H:%M:%S",time_local)
if not conlist:
continue
con = re.search("(?<=con': u')(.+?)(?='})",str(conlist))
if not con:
continue
print con.group().decode('unicode_escape')
csv_writer.writerow([con.group().decode('unicode_escape'),dt,cmtnum])


if __name__ == "__main__":
i = -20;
while True:
i += 20
get_row(i)
print i
if i >=2740:
break

将url更换成自己抓取到的地址,需要注意内部包含一个{pos},另外在根目录下建立一个cookie.txt文件,将cookie写进去。然后就可以愉快的采集数据了。
图片.png
跑完以后会在根目录下生成一个rent.csv的文件。里面就是采集下来的数据。

##0x03 制作云图

因为爬取出来评论数据都是字符串,所以需要对整个字符串进行分词,然后统计每个词语出现的评论。我采用 jieba 库来进行分词,采用WordCloud制作云图。代码就参考网上开源的代码。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba

text_from_file_with_apath = open('1.txt').read() #1.txt为待分析处理文本

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)

my_wordcloud = WordCloud().generate(wl_space_split)

plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

先安装相关库

1
2
pip install wordcloud
pip install jieba

如果报编码错误是因为wordcloud 默认使用了DroidSansMono.ttf 字体库,改一下换成一个支持中文的ttf 字库,丢到wordcloud的目录下面并修改wordcloud.py中的第28行就可以了。

最后制作出来的云图效果是:
结果.png

个人感觉结果不是很符合我的气质,哈哈,应该是算法有关系。于是我又将相关数据丢到在线生成词云的网站看了看:
图片.png

##0x04 结语
结合两张分析图可以看出从我的第一条说说到现在,我的心路历程,总结下来就是:
我吐槽过这牛逼的世界、也感叹过这烦忧的人生。 我说过无数的晚安、也表达过年少的相思。 我喝过无数的励志鸡汤、但也会对世界产生不安。 我有过孤独的时候,但也看过了很多风景。
看来人啊,总是在成长啊。