中国老员工计算机设计大赛国赛三等奖——基于大数据平台和LSTM深度学习算法的互联网新闻分类
来源:betway必威西汉姆联官网 时间:2019-03-23 点击数:
基于大数据平台和LSTM深度学习算法的互联网新闻分类是大数据应用分析类作品,通过编写爬虫程序,将爬取到的两百多万条新闻数据进行预处理,上传到CDH大数据平台里的分布式文件系统HDFS中,实现从HDFS中读取数据,将数据规整,划分为22个类别,训练word2vec词向量作为深度学习模型LSTM(长短期记忆网络)的输入数据,训练模型,得到模型,模型验证和评估,初步优化模型,将模型部署上线并对外提供REST API,供应用系统访问获取数据,将数据在网页上进行可视化展现。