public-sentiment_nlp

KO | EN

gitlite — search

#python #java #python3 #arduino #golang #machine-learning #rust #html #flask #javascript #seismology #nodejs

public-sentiment_nlp

★ 18 Open GitHub ↗

Quant

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# public-sentiment_nlp
# 项目代码：[基于NLP对爬取的舆情数据进行情感分析](https://www.ricequant.com/community/topic/3339/)
# 中文版本|Chinese Version

## 用途

从爬取的财经网站上的用户发言的舆情数据（标题、阅读量、发表日期）中计算得到舆情情绪指数，利用舆情情绪指数和hurst指数构建策略，进而使用ricequant上回测框架进行策略回测

## 环境

* 操作系统：OS X 10.12 (Sierra) 
* 回测平台 Ricequant
* Python版本: 3.5
* Python包：gensim,sklearn,codec,requests,xlrd,jieba,pandas等

## 实现

### 目标特点

### 程序流程

1. 爬取舆情数据：使用python爬取东方财富网股吧（http://guba.eastmoney.com/list,huangjin_1.html） 用户发表帖子的标题、阅读人数等数据。

1.1. 利用requests来请求页面。
  
    1.2. 利用BeautifulSoup来对页面内容进行解析。
  
    1.3. 通过标签筛选需要的信息，如：标题、阅读量、发表日期、评论人数等。
    
  * 样图：
  ![](http://i1.piimg.com/588926/4496c7b59e586ef2.jpg)
2. 舆情情感分析。使用Jieba包进行语句分词——去除停用词——计算句子得分。由此流程得到舆情情绪指数的时间序列。
    2.1. 使用Jieba包对句子分词 即将句子拆分为词语集合，结果如下：
        e.g. 这样/的/酒店/配/这样/的/价格/还算/不错
        
    2.2. 去除停用词。 e.g. 这样/的/酒店/配/这样/的/价格/还算/不错
                    --> 酒店/配/价格/还算/不错
                  
    2.3 构建模型 
      # （版本1.0）
  
      2.3.1. 将词语分类并记录其位置，将句子中各类词分别存储并标注位置。
    
      2.3.2. 计算句子得分 两情感词之间的所有否定词和程度副词与这两情感词中的后一情感词构成一个情感词组，即notWords + degreeWords + sentiWords，例如不是很交好，其中不是为否定词，很为程度副词，交好为情感词，那么这个情感词语组的分数为：
finalSentiScore = (-1) ^ 1 * 1.25 * 0.747127733968。其中1指的是一个否定词，1.25是程度副词的数值，0.747127733968为交好的情感分数。

2.3.3. 将每天所有用户发言的标题的情感得分简单加总，得到舆情情绪指数的时间序列，数据类型为DataFrame。

* 样图：
    
    ![](http://i2.muimg.com/588926/849cbc3fe8cd28b9.jpg)
   
  #  (版本2.0)
      
     用机器学习训练情绪得分,在使用SVM和logisti回归时遇到一些bug，正在处理，后续上传。
     
3. 价格预测：由于舆情数据的情感分析精度不是很高，所以从直觉上感觉直接预测价格的效果可能不够好，转为价格趋势预测。

3.1 计算Hurst指数以做分形判断,判断价格走势是否具有趋势型。具体计算见本人之前的研究[基于hurst指数择时](https://www.ricequant.com/community/topic/2263/)
    
    3.2 利用2.3.3中得到的舆情情绪指数的时间序列进行ols回归，得到的系数如果为正则认为舆情情绪向好变化，为负则认为舆情情绪想坏变化。
    
4. 交易策略算法

4.1. 计算期货close价格的hurst指数H,大于0.5表明时间序列存在长期记忆性，如果0≤H<0.5，表明粉红噪声(反持续性)即均值回复过程， 如果H=0.5，表明时间序列可以用随机游走来描述。
    
    4.2. 通过交易日前5天舆情情绪指数的ols回归系数判断价格趋势，系数大于0即认为趋势向上，系数小于0即认为趋势向下。
    
    4.3. 具体交易规则。
    
         如果回归系数大于0且hurst指数大于0.55，开多

如果回归系数大于0且hurst指数小于0.45，平多

如果回归系数小于0且hurst指数大于0.55，卖空

如果回归系数小于0且hurst指数小于0.45，平空

###回测结果

![](http://i2.muimg.com/588926/731509f44ed06f0e.jpg)

## 待优化
    *1. 一开始没意识到需要使用机器学习来做情感分析，导致后面在进行用机器学习处理文本情感分析时时间不够用，后续完善后上传2.0版本。
    *2. 对于正负向文本的判断，该算法忽略了很多其他的否定词、程度副词和情感词搭配的情况；用于判断情感强弱也过于简单。
    *3. 爬取数据内容单一，舆情数据应包括多网站不同角度的数据。
    *4. 回测时只是用了趋势做交易规则，交易次数不够多，导致出现较长空仓期，回测结果就不够平滑。

public-sentiment_nlp

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README