CSI300ETF_NetizenSentimentIndex

KO | EN

gitlite — search

#python #java #python3 #arduino #golang #machine-learning #rust #html #flask #javascript #seismology #nodejs

CSI300ETF_NetizenSentimentIndex

★ 12 Open GitHub ↗

No description available.

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# CSI300ETF_NetizenSentimentIndex

## 简述
本课题是基于导师的课题《智慧金融市场风险预测——基于隐含风险的测度、预测预警和决定机制研究》下开展的子课题。导师课题已通过深圳市自然科学基金申请计划，对本项目提供了有较好的研究基础与支持。

本课题旨在研究VIX、投资者恐慌情绪和沪深300ETF收益率这三个变量组成的系统，探究变量之间的冲击关系，同时研究COVID-19疫情对其的影响。

github开源的部分主要为爬虫和情感分析的代码

2022.2.15更新  目前项目是拿了 挑战杯校级金奖  广东省一等奖

## 爬虫 
- 在文件夹xueqiu_comment_crawler中，里面包含了三个文件
   -    list.txt   
        -    文件树，与项目无关  
   -    xueqiu.py     
        -    爬虫代码，爬取的内容为雪球网[例子](https://xueqiu.com/S/SH000300)下面的评论部分
        -    因为沪深300有300支股票，我们还得结合下面的*沪深300成分股.xlsx*获取对应股票的标号
        -    对应的技术博客  [博客在此！](https://blog.csdn.net/weixin_39459398/article/details/114828992)
   -    沪深300成分股.xlsx
        -    主要存储300支股票的名字和标号
- 代码部分 **只是** 实现了爬取数据，但数据仍存在无效，空白数据，还需要对数据进行下一步清洗和整理，之后数据处理的代码还需整理后开源。   
  
## 情感分析
- 我们项目基于两个方向开展：机器学习和情感词典
- 我们希望探究情感分析 *通俗一点理解是 哪个效果好用哪个*

1. 基于情感词典
- 在emotion_analysis/Emotional_dictionary文件中
   - list.txt
   - MC词典.csv
   - stopwordslist.txt
   - 沪深300评论.py
- 词典选取：
  - 国外研究常用的情感词典是哈佛大学发布的《哈佛心理社会学词典》，但这种一般情况下的词典在特殊领域的应用效果不佳，Loughran and McDonald (2011)指出不同领域的词汇列表并不相通，哈佛词典中的被认为消极的词汇有四分之三在金融领域是不被认为消极的。 
  - 考虑到爬取的评论在口语化的同时具有较高的专业性，通用性词典不能很好地反映出评论情绪，我们选取了知网情感词典，并通过观察我们爬取的语料库，在此基础上新增了在语料中高频出现的金融类情感词汇，标注为积极或消极，以此作为我们最终用于分析的情感词典。

2. 基于机器学习
- 选取模型：
  - 选取了BERT 模型，用KERAS 来调用BERT 模型来对文本进行情感分析，模型参数使用的是Google 在中文语料上的预训练权重，测试集的准确率是0.9781。
  - 将经过预处理的评论输入模型中，经过分析得到句子情感的极性，即积极和消极两类，按照如下公式计算当日情感指数，完成对评论文本的处理。
- 两部分 
  1.  datesort
  - 这个是自己写的，“result.csv”是keras-bert-emotional-classifier那里得到的结果；功能是把每一条评论的结果按日度统计；结果放在“result_sort.csv"里输出。
  2.  keras-bert-emotional-classifier
  - 用的是[github链接](https://github.com/AaronJny/DeepLearningSamples/tree/master)，基于这个魔改的
   - 原来运行的时候是eval_test这个，我改了里面的文件读取，输入输出，改完以后的是eval_main;其他部分都没改，另外一个readme是原本就有的；得到的结果的result.xls，要放到datesort那个文件夹里得到最终结果

CSI300ETF_NetizenSentimentIndex

Explore Similar Repositories

Was this content helpful?

Recent Feedback

Download README