1、问题一
LDA求出主题-词 概率phi之后。可以知道每个主题下每个词的概率,之后怎么确定每篇文档的主题分布呢?
在 gibbs抽样稳定之后,统计每篇文档topic出现的频率就可以算出来。
2、问题二
每个主题下的词有可能是相同的,只是概率不同而已。统计时这个应该算在哪个主题下?
3、问题三
训练集--维基百科数据集是 自己用爬虫爬,还是直接下载。
4、问题四
LDA模型构建完后,可以估计每篇文档的主题。但是之后要怎么知道当前舆论的热点呢?
5、问题五
Elasticsearch 是用来存取新闻和微博模块的数据,这样我可以设置一个表,表中的每一项(url-主题-发布时间-爬取时间-作者-摘要)这样搜索的时候就可以搜索出关于某个主题的所有url。
6、问题六
关于LDA的训练集的问题。这个训练集是自己爬取,然后分词得到的。
7、问题七
怎么将舆情信息展示出来。(按爬取文档的主题出现的概率排序)可以用图表表示出所有主题出现的的概率。柱状图。
解决完这七个问题,整个系统基本成型
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。