作业要求来源:
1. 下载一长篇中文小说。
2. 从文件读取待分析文本。
3. 安装并使用jieba进行中文分词。
4. 更新词库,加入所分析对象的专业词汇。
5. 生成词频统计、排序、排除语法型词汇,代词、冠词、连词等停用词、输出词频最大TOP20,把结果存放到文件里
源代码:
import jiebafo = open(r"d:/三体.txt",encoding="utf-8")santi_txt = fo.read()jieba.load_userdict(r"d:/stWord.txt") #添加专业词汇词库fo2 = open(r"d:/stops_chinese1.txt",encoding="utf-8")cnStops = fo2.read()cnStops = cnStops.split("\n")st=[]ss=set(cnStops)for d in jieba.cut_for_search(santi_txt): st.append(d)for n in a: g.update(n) g[n]=santi_txt.count(n) print("{} : {}".format(n,santi_txt.count(n)))for w in st: isStop = False for a in cnStops: if w==a: isStop=True if isStop==True: st.remove(w)santi_Txt =' '.join(wordlist) wordCount = WordCloud().generate(wl_split)santi_txt.sort(key=lambda x: x[1], reverse=True) # 列表排序print(santi_txt[0:20]) #输出top20plt.imshow(wordCount)plt.axis("off")plt.show()
结果:
6. 生成词云: