一、问题背景
由于最近做nlp相关的项目，在进行数据预处理的时候，需要对文本进行分词、去停用词、词性标注、标点去除等预处理方法。
由于标点符号会影响我们分词的效果，这里我着重了解学习了标点去除的方法，总结了有以下几种，欢迎大家补充👏
二、解决方案
以下描述了4种方法：
import reimport stringsentence = "+今天=是！! 年/8月?1,7日★.---《七夕节@》：让我*们出门（#@）去“感受”夏天的荷尔蒙！"sentenceClean = []# method 1remove_chars = '[·’!"\#$%&\'()＃！（）*+,-./:;<=>?\@，：?￥★、…．＞【】［］《》？“”‘’\[\\]^_`{|}~]+'string1 = re.sub(remove_chars, "", sentence)sentenceClean.append(string1)# method 2punct = str.maketrans({key:"" for key in string.punctuation})# 这里的string中包含的标点符号不是很全# string.punctuation = !"#$%&'()*+,-./:;<=>?@[\]^_`{|}~ 都是英文字符下的标点string2 = sentence.translate(punct)sentenceClean.append(string2)# method 3string3 = "".join(re.findall(r'\b\w+\b',sentence))# 正则表达式中\b可以简单理解为单词的边界（指的是字母数字和非字母数字的边界），\w表示字母数字下划线，#'\b\w+\b'在这道题中就能做到匹配一个单词，re.findall是将全部的单词找出来sentenceClean.append(string3)# method 4 string4 = re.sub('\W*', '', sentence) # 把非单词字符全部替换为空，恰好与\w相反sentenceClean.append(string4)print(sentence)print(sentenceClean)'''以下的结果有一些细微的差别，可以自行对比查找下原因。result:+今天=是！! 年/8月?1,7日★.---《七夕节@》：让我*们出门（#@）去“感受”夏天的荷尔蒙！['今天是 年8月17日七夕节让我们出门去感受夏天的荷尔蒙', '今天是！ 年8月17日★《七夕节》：让我们出门（）去“感受”夏天的荷尔蒙！', '今天是8月17日七夕节让我们出门去感受夏天的荷尔蒙','今天是8月17日七夕节让我们出门去感受夏天的荷尔蒙']'''
如果只是简单的个别标点的替换，可以使用replace的内置函数进行替换，例如s.replace(’,’, “”)。
以上的几种方法主要是分成了三种类型
string库函数；正则查找；replace内置函数。
有兴趣的同学可以对比一下三类方法的效率，在大量文本数据需要处理的时候，这是必须考虑的一个问题。
