5.RDD操作综合实例

一、词频统计
A. 分步骤实现
准备文件
下载小说或长篇新闻稿

![](https://img2022.cnblogs.com/blog/2765564/202204/2765564-20220407175716721-1983663172.png)

上传到hdfs上

读文件创建RDD

分词

排除大小写lower()，map()

标点符号re.split(pattern,str)，flatMap()

停用词,可网盘下载stopwords.txt,filter()

长度小于2的词filter()
统计词频
按词频排序
输出到文件
查看结果