Linux安全网 - Linux操作系统_Linux 命令_Linux教程_Linux黑客

会员投稿 投稿指南 本期推荐:
搜索:
您的位置: Linux安全网 > Linux编程 > » 正文

Python 新浪微博 各种表情使用频率

来源: 未知 分享至:

主题:用新浪微博API积累了微博广场的1.4万条数据,我选择了21个字段输出为TXT文件,想用Python稍微处理一下,统计一下这1.4万条微博里面表情使用情况,统计结构在最后。

无聊的时候用了下新浪JAVA版的API,对JAVA还不熟悉,但是稍微改一下还是没问题的,数据保存为TXT文件,再用Python处理,JAVA部分很简单,Python部分只涉及到表情的正则提取,都不好意思写出来了。

1、调用新浪JAVA API下载微博广场数据
步骤思路:
初始化API的Weibo类,设置Token后,设置下载间隔,然后重复调用getPublicTimeline()函数就可以了,下面是主要类的代码:
这个不是完整的代码,没有初始化暂停间隔,可以掠过,很简单。

View Code
 1 class WriteWeiboData{
2 private int n;
3 public WriteWeiboData(int count)
4 {
5 this.n=count;
6 }
7 public void Start(){
8 System.setProperty(\"weibo4j.oauth.consumerKey\", Weibo.CONSUMER_KEY);
9 System.setProperty(\"weibo4j.oauth.consumerSecret\", Weibo.CONSUMER_SECRET);
10 try {
11 //获取前20条最新更新的公共微博消息
12 Weibo weibo = new Weibo();
13 //weibo.setToken(args[0],args[1]);
14 weibo.setToken(\"keystring\", \"keyscrect\");
15 for(int i=0;i<this.n;i++){
16 System.out.print(\"Start to get weibo data num \"+(i+1)+\"n\");
17 List<Status> statuses =weibo.getPublicTimeline();
18 for (Status status : statuses) {
19 SaveData(status);
20 }
21 try{
22 System.out.print(\"Success to get weibo data num \"+(i+1)+\"n\");
23 System.out.print(\"Sleep for 30 seconds\");
24 Thread.sleep(30000);
25 }catch(Exception ee){
26 System.out.print(\"Sleep Error\");
27 }
28 }
29 } catch (WeiboException e) {
30 e.printStackTrace();
31 }
32 }
33 public void SaveData(Status status){
34 //Return data format:
35 //created_at,id,text,source,mid
36 //user:id,screen_name,name,provience,city,location,description,url,domain,gender,
37 //followers_count,friends_count,statuses_count,favourites_count,created_at,verified
38 //annotations:server_ip
39 try{
40 User user=status.getUser();
41 FileWriter fw=new FileWriter(\"F:/Sina.txt\",true);
42 fw.write(status.getCreatedAt()+\"t\"+status.getId()+\"t\"+status.getText()+\"t\"+
43 status.getSource()+\"t\"+status.getMid()+\"t\"+
44 user.getId()+\"t\"+user.getScreenName()+\"t\"+user.getName()+\"t\"+
45 user.getProvince()+\"t\"+user.getCity()+\"t\"+user.getLocation()+\"t\"+
46 user.getDescription()+\"t\"+user.getURL()+\"t\"+user.getUserDomain()+\"t\"+
47 user.getGender()+\"t\"+user.getFollowersCount()+\"t\"+user.getFriendsCount()+\"t\"+
48 user.getStatusesCount()+\"t\"+user.getFavouritesCount()+\"t\"+user.getCreatedAt()+\"t\");
49 fw.write(\"n\");
50 fw.close();
51 }
52 catch(Exception e){
53 System.out.print(\"IO Error\");
54 }
55 }
56 }


2、数据格式:

\"\"
要取得数据就是微博内容,先练一下手玩玩。

3、Python处理数据
目标:查看微博用户表情使用情况,暂时只分性别,如果积累了合适的数据后可以分析各个时间段人们爱用哪种表情。
步骤:
$ 读取TXT文件,递归处理每一行
$ 单独提取出微博字段,正则提取表情字段,同时把性别提取出来,放到一个dict里面,dict的格式是:表情/女性使用频率/男性使用频率,递归处理,累积频率
$ 把结果写入到文件
注意:Python正则提取中文部分,先解码成unicode编码,再正则提取,表情的标志是[],虽有误差,但无大碍。
代码:
__collection函数是处理函数,返回处理结果(dict)

View Code
 1 class EmotionFrequent():
2 infoFile=\'F:/Sina.txt\'
3 def __init__(self):
4 pass
5 def __collection(self):
6 f=open(self.infoFile)
7 d=dict()
8 n=1
9 for line in f.readlines():
10 if line.strip()==\'\' or line.strip()==\'n\':

Tags:
分享至:
最新图文资讯
1 2 3 4 5 6
验证码:点击我更换图片 理智评论文明上网,拒绝恶意谩骂 用户名:
关于我们 - 联系我们 - 广告服务 - 友情链接 - 网站地图 - 版权声明 - 发展历史