一、文本数据准备
使用已经有的语料库，按照Python读取文本内容的方法读取文本文件内容。此处为了一步步演示过程，所以先使用句子，最后再整合。
二、去除指定无用的符号
我们爬取到的文本有时候会有很多空格或者是其他一些无用的符号，如果保留这些符号，在分词的时候这些符号也会被分出来，就会导致分词的结果不是很好。这个时候我们就可以用replace()这个方法去掉所有你不想要的符号：
1. 去除空格
contents = ' 大家好， 欢迎一起来学习文本的空格 去除 ！'print('处理前文本：'+contents)def process(our_data):#定义函数content = our_data.replace(' ','') # 去掉文本中的空格print('处理后文本：'+content)process(contents)
处理前文本： 大家好， 欢迎一起来学习文本的空格 去除 ！
处理后文本：大家好，欢迎一起来学习文本的空格去除！
2. 去除空格的同时把省略号转换为句号
contents = ' 大家好， 这里还有 很多的知识...一起拉学习吧 ！'print('处理前文本：'+contents)def process(data):#定义函数content1 = data.replace(' ','') # 去掉文本中的空格content2 = content1.replace('...',',') # 去掉文本中的空格print('处理后文本：'+content2)process(contents)
处理前文本： 大家好， 这里还有 很多的知识...一起拉学习吧 ！
处理后文本：大家好，这里还有很多的知识,一起拉学习吧！
三、让文本只保留汉字
我们在处理文本时通常只针对文字，而符号、数字等是没有意义的，如果一项项的分开去除，那样就会浪费时间，所以想只留下汉子时，我们可以采用下列方法：
def is_chinese(uchar):if uchar >= u'\u4e00' and uchar <= u'\u9fa5': # 判断一个uchar是否是汉字return Trueelse:return Falsedef allcontents(contents):content = ''for i in contents:if is_chinese(i):content = content+iprint('\n处理后的句子为:\n'+content)centents = '1,2,3...我们开始吧， 加油！'print('原句子为:\n'+centents)allcontents(centents)
原句子为：1,2,3...我们开始吧， 加油！
处理后的句子为：我们开始吧加油
四、文本中的表情符号去除
有的时候文本需要保留原来的样子，数字、汉字、英文、常规句子符号，而去除掉其他的东西，那么可以使用下面的方法：
import resentence='现在听着音乐,duo rui mi,很开心*_*'print('原句子为:\n'+sentence)def clear_character(sentence): pattern = pile("[^\u4e00-\u9fa5^,^.^!^a-z^A-Z^0-9]") #只保留中英文、数字和符号，去掉其他东西#若只保留中英文和数字，则替换为[^\u4e00-\u9fa5^a-z^A-Z^0-9]line=re.sub(pattern,'',sentence) #把文本中匹配到的字符替换成空字符new_sentence=''.join(line.split()) #去除空白print('\n处理后的句子为:\n'+new_sentence) clear_character(sentence)
注意：保留的符号需要注意是在中英文的哪个环境下，如果都要保留，就得继续添加在pile()里面。
运行结果：
原句子为：现在听着音乐,duo rui mi,很开心*_*
处理后的句子为：现在听着音乐,duoruimi,很开心
五、繁体中文与简体中文转换
当我们尽心文本处理时，如果文本中既有繁体也有简体，那处理起来有些不方便，为此，需要根据实际所需，进行繁体中文与简体中文的转换，在使用下列方法之前，需要通过语句：pip install openccpy 安装一下OpenccPy。OpenccPy是一款 python 中文繁简体转换工具。
from opencc import OpenCCsentence = '你现在读的这里是简体，這裡是繁體，能看懂嗎？'print('原句子为:\n'+sentence)def Simplified(sentence):new_sentence = Converter('zh-hans').convert(sentence) # 繁体转为简体print('\n处理后的句子为:\n'+new_sentence) def Traditional(sentence):new_sentence = Converter('zh-hant').convert(sentence) # 简体转为繁体print('\n处理后的句子为:\n'+new_sentence) Simplified(sentence)
原句子为：你现在读的这里是简体，這裡是繁體，能看懂嗎？
处理后的句子为：你现在读的这里是简体，这里是繁体，能看懂吗？
