准备30万条新闻数据
编号
新闻类别
新闻数量(条)
1
财经
37098
2
教育
41963
3
科技
65534
4
时政
63086
5
体育
65534
6
娱乐
65534
yield生成器
斐波那契数列介绍和数学描述
斐波那契数列算法实现
斐波那契数列算法生成器实现
算法时间性能对比分析
# coding=utf-8
"""
Description：yield生成器案例
"""
import time
"""
斐波那契数列：1,1,2,3,5,8,13,21,34,55,89,144
从数列的第三项开始，后面每一项是前面两项之和
数学上的定义：F(0) = 1, F(1) = 1, F(n) = F(n-1) + F(n-2)(n>=2, n∈N)
"""
# 普通的斐波那契数列实现
def fab1(max):
n, a, b = 0, 0, 1
while n < max:
# print('->', b)
a, b = b, a + b
n = n + 1
# 生成器算法实现斐波那契数列
def fab2(max):
n, a, b = 0, 0, 1
while n < max:
yield b # 使用yield生成器
a, b = b, a + b
n = n + 1
def test():
# 最大迭代数
max_num = 1000000
start_time = time.time()
fab1(max_num)
end_time = time.time()
print('fab1 total time %.2f' % (1000 * (end_time - start_time)), 'ms')
start_time = time.time()
# B为一个
# 可以通过遍历进行获取值
b = fab2(max_num)
end_time = time.time()
print('fab2 total time %.2f' % (1000 * (end_time - start_time)), 'ms')
if __name__ == '__main__':
test()
输出：
fab1 total time 7085.11 ms
fab2 total time 0.00 ms
递归读取30万新闻
实现文件遍历递归
遍历读取30万新闻
每万条读取打印一次
完成30万新闻遍历读取
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
@Description : 递归批量读取30W文本
@Time : /1/2 23:41
@Author : sky
@Site :
@File : FileRead.py
@Software: PyCharm
"""
import os
import time
def traversal_dir(root_dir):
"""
返回指定目录包含的文件或文件夹名字列表
:param root_dir: 根目录
:return: 文件(文件夹)名字列表
"""
for index, file_name in enumerate(os.listdir(root_dir)):
# 待处理文件名字列表
child_file_path = os.path.join(root_dir, file_name)
if os.path.isfile(child_file_path):
# 对文件进行操作
if index % 10000 == 0:
print('{c} *** {t} *** {i} \t docs has been read'
.format(c=root_dir, i=index, t=time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())))
elif os.path.isdir(child_file_path):
# 递归遍历文件目录
traversal_dir(child_file_path)
if __name__ == '__main__':
root_dir = '../dataset/CSCMNews'
start_time = time.time()
traversal_dir(root_dir)
end_time = time.time()
print('Total Cost Time %.2f' % (end_time - start_time) + 's')
高效读取30万新闻
构建生成器
构建迭代器
高效读取30万新闻
读取30万新闻性能对比
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
# @Description 高效读取30万新闻
# @Time : /1/4 14:47
# @Author : sky
# @Site :
# @File : EfficRead.py
# @Software: PyCharm
"""
import os
import time
# 迭代器
class LoadFolders(object):
def __init__(self, parent_path):
self.parent_path = parent_path
def __iter__(self):
for file in os.listdir(self.parent_path):
file_abspath = os.path.join(self.parent_path, file)
if os.path.isdir(file_abspath):
yield file_abspath
class LoadFiles(object):
def __init__(self, parent_path):
self.parent_path = parent_path
def __iter__(self):
folders = LoadFolders(self.parent_path)
# 第一级目录
for folder in folders:
category = folder.split(os.sep)[-1]
# 第二级目录
for file in os.listdir(folder):
yield category, file
if __name__ == '__main__':
file_path = os.path.abspath('../dataset/CSCMNews')
start_time = time.time()
files = LoadFiles(file_path)
for index, msg in enumerate(files):
if index % 10000 == 0:
print('{t} *** {i} \t docs has bean read'.format(t=time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()), i=index))
end_time = time.time()
print('Total Cost Time %.2f' % (end_time - start_time) + 's')
小结
数组、链表、字符串、文件等缺点就是所有的
，海量的数据
生成器是可以迭代的，
就是重复调用
,直到没有下一个
有
不再是一个普通的函数，而是一个
，可用于
。
yield是一个类似
正则清洗数据
分析新闻语料文本
读取新闻文本信息
正则过滤掉特殊符号、标点、英文、数字等
正则去除空格、换行符、多空格合并等
实现正则清洗文本数据
正则表达式学习
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
# @Description 正则表达式学习
# @Time : /1/4 15:13
# @Author : sky
# @Site :
# @File : reqular.py
# @Software: PyCharm
"""
import re
# . 任意字符
# * 任意次数
# ^ 表示开头
# $ 表示结尾
# ? 非贪婪模式，提取第一个字符
# + 至少出现一次
# {1}出现一次
# {3,}出现3次以上
# {2,5}最少2次，最多5次
# \d 匹配数字
# [\u4E00-\u9FA5] 匹配汉字
# | 或
# [] 满足任意一个， [2345] 2345中任意一个 [0-9]区间 [^1]非1
# \s 空格 \S 非空格
# \w 匹配[A-Za-z0-9_] \W=非\w
text = 'this is Python 数据预处理， 这次学习的很好，使用的环境是Anaconda4.4，现在的时间是1月4日'
# 开头 + 任意字符 + 任意次数
reg_1 = '(^t.*)'
# 存在s 这样会一直匹配到最后一个s
reg_2 = '.*(s+)'
# 存在s 贪婪 匹配到第一个s
reg_3 = '.*?(s+)'
# 匹配汉字?的作用同上
reg_4 = '.*?([\u4E00-\u9FA5]+的)'
# 匹配日期
reg_5 = '.*(\d{4}年)(\d{1,2}月)'
res = re.match(reg_5, text)
if res:
print(res)
print(res.group(2)) # group对应的数字是正则中括号的内容
else:
print('没匹配到')
# 日期的提取
print('-'*20)
date_text = '现在的日期是1月4日'
# date_text = '现在的日期是01月04日'
# date_text = '现在的日期是-1-4'
# date_text = '现在的日期是-01-04'
# date_text = '现在的日期是/1/4'
# date_text = '现在的日期是/01/04'
# date_text = '现在的日期是-01'
reg_date = '.*(\d{4}[年/-]\d{1,2}[月/-]\d{,2}[日]?)'
res = re.match(reg_date, date_text)
if res:
print(res)
print(res.group(1)) # group对应的数字是正则中括号的内容
else:
print('没匹配到')
# 手机号的提取
print('-'*20)
# phone_text = '我的手机号是13030010152，有什么问题可以联系我'
# phone_text = '我的手机号是17091033442，有什么问题可以联系我'
# phone_text = '我的手机号是18519299012，有什么问题可以联系我'
phone_text = '我的手机号是13691769664 ，有什么问题可以联系我'
reg_phone = '.*?(1[37859]\d{9})'
res = re.match(reg_phone, phone_text)
if res:
print(res)
print(res.group(1)) # group对应的数字是正则中括号的内容
else:
print('没匹配到')
清洗文本数据
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
# @Description 正则清洗文本数据
# @Time : /1/4 15:52
# @Author : sky
# @Site :
# @File : REdealText.py
# @Software: PyCharm
"""
import re
# 正则对字符串的清洗
def text_parse(text):
# 正则过滤掉特殊符号，标点，英文，数字等
reg_1 = '[a-zA-Z0-9’!"#$%&\'()*+,-./:：;；|<=>?@，—。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'
# 去除空格
reg_2 = '\\s+'
text = re.sub(reg_1, ' ', text)
text = re.sub(reg_2, ' ', text)
# 去除换行符
text = text.replace('\n', '')
return text
def read_file(path):
str_doc = ''
with open(path, encoding='utf-8') as f:
str_doc = f.read()
return str_doc
if __name__ == '__main__':
# 读取文本
str_doc_path = '../dataset/CSCMNews/体育/0.txt'
str_doc = read_file(str_doc_path)
print(str_doc)
# 数据清洗
clear_text = text_parse(str_doc)
print(clear_text)
清洗HTML数据
分析html文本信息
导入正则：re.I、re.L、re.M、re.S……
清洗HTML标签：DOCTYPE、CDATA、Script、style……
HTML标签、注释、换行等处理：pile
实现正则清洗HTML数据
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
# @Description 正则清洗HTML
# @Time : /1/4 18:46
# @Author : sky
# @Site :
# @File : DealHtml.py
# @Software: PyCharm
"""
import re
# 清洗HTML标签文本
def filter_tags(html_str):
# 去掉多余的空格
html_str = ' '.join(html_str.split())
# 过滤DOCTYPE
re_doctype = pile(r'*?>', re.S)
res = re_doctype.sub('', html_str)
# 过滤CDATA
re_cdata = pile(r'//]∗ //\] > ', re.I)
res = re_cdata.sub('', res)
# Script
re_script = pile(r']*>[^', re.I)
res = re_script.sub('', res)
# style
re_style = pile(r']*>[^', re.I)
res = re_style.sub('', res) # 去掉style
# 处理换行
re_br = pile(r'
')
res = re_br.sub('', res) # 将br转换为换行
# HTML标签
re_h = pile(r'?\w+[^>]*>')
res = re_h.sub('', res) # 去掉HTML 标签
# HTML注释
re_comment = pile(r'')
res = re_comment.sub('', res)
# 多余的空行
blank_line = pile(r'\n+')
res = blank_line.sub('', res)
blank_line_l = pile(r'\n')
res = blank_line_l.sub('', res)
blank_kon = pile(r'\t')
res = blank_kon.sub('', res)
blank_one = pile(r'\r\n')
res = blank_one.sub('', res)
blank_two = pile(r'\r')
res = blank_two.sub('', res)
blank_three = pile(r' ')
res = blank_three.sub('', res)
# 剔除超链接
http_link = pile(r'(http://.+.html)')
res = http_link.sub('', res)
return res
def read_file(path):
str_doc = ''
with open(path, encoding='utf-8') as f:
str_doc = f.read()
return str_doc
if __name__ == '__main__':
str_doc = read_file('./htmldemo.txt')
res = filter_tags(str_doc)
print(res)
简繁体转换
简繁体python包下载与使用
简繁对照表分析与自定义添加
python实现繁体文本转为简体文本
python实现简体文本转为繁体文本
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
# @Description 简繁体转换
# @Time : /1/4 19:08
# @Author : sky
# @Site :
# @File : zhline.py
# @Software: PyCharm
"""
from ClearText.zhtools.langconv import *
# 1、简体字转化为繁体
str1 = '上港5-4恒大5分领跑剑指冠军，下轮打平便可夺冠，' \
'武磊平纪录—广州恒大淘宝|上海上港|蔡慧康|武磊|胡尔克|张成林|阿兰|保利尼奥|王燊超|吕文君|懂球帝' \
'北京时间11月3日19:35，中超第28轮迎来天王山之战，广州恒大淘宝坐镇主场迎战上海上港。' \
'上半场吕文君和蔡慧康先后进球两度为上港取得领先，保利尼奥和阿兰两度为恒大将比分扳平，' \
'补时阶段保利尼奥进球反超比分；下半场武磊进球追平李金羽单赛季进球纪录，王燊超造成张成林乌龙，' \
'胡尔克点射破门，阿兰补时打进点球。最终，上海上港客场5-4战胜广州恒大淘宝，' \
'赛季双杀恒大同时也将积分榜上的领先优势扩大到五分，上港下轮只要战平就将夺得冠军。非常抱歉！'
line1 = Converter('zh-hant').convert(str1)
print('繁体---\n', line1)
# 2、繁体字转化为简体
str2 = '上港5-4恆大5分領跑劍指冠軍，下輪打平便可奪冠，' \
'武磊平紀錄—廣州恆大淘寶|上海上港|蔡慧康|武磊|胡爾克|張成林|阿蘭|保利尼奧|王燊超|呂文君|懂球帝' \
'北京時間11月3日19:35，中超第28輪迎來天王山之戰，廣州恆大淘寶坐鎮主場迎戰上海上港。' \
'上半場呂文君和蔡慧康先後進球兩度為上港取得領先，保利尼奧和阿蘭兩度為恆大將比分扳平，' \
'補時階段保利尼奧進球反超比分；下半場武磊進球追平李金羽單賽季進球紀錄，王燊超造成張成林烏龍，' \
'胡爾克點射破門，阿蘭補時打進點球。最終，上海上港客場5-4戰勝廣州恆大淘寶，' \
'賽季雙殺恆大同時也將積分榜上的領先優勢擴大到五分，上港下輪只要戰平就將奪得冠軍。非常抱歉！'
line2 = Converter('zh-hans').convert(str2)
print('简体---\n', line2)
30万新闻数据清洗
高效读取30W新闻文本
实现新闻文本抽样
抽样新闻文本数据清洗
每万条打印一次信息
实现30W新闻文本数据清洗
#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
# @Description 30W新闻文本数据清洗
# @Time : /1/4 19:35
# @Author : sky
# @Site :
# @File : 30wClear.py
# @Software: PyCharm
"""
import os
import re
import time
from ClearText.REdealText import text_parse
# 高效读取文件
# 迭代器
class LoadFolders(object):
def __init__(self, parent_path):
self.parent_path = parent_path
def __iter__(self):
for file in os.listdir(self.parent_path):
file_abspath = os.path.join(self.parent_path, file)
if os.path.isdir(file_abspath):
yield file_abspath
class LoadFiles(object):
def __init__(self, parent_path):
self.parent_path = parent_path
def __iter__(self):
folders = LoadFolders(self.parent_path)
# 第一级目录
for folder in folders:
category = folder.split(os.sep)[-1]
# 第二级目录
for file in os.listdir(folder):
file_path = os.path.join(folder, file)
if os.path.isfile(file_path):
this_file = open(file_path, 'rb') # rb读取快
content = this_file.read().decode('utf-8')
yield category, content
this_file.close()
if __name__ == '__main__':
start_time = time.time()
file_path = '../dataset/CSCMNews'
files = LoadFiles(file_path)
# 抽样
n = 2
for index, msg in enumerate(files):
if index % n == 0:
category = msg[0]
content = msg[1]
content = text_parse(content)
if int(index / n) % 10000 == 0:
print(
'{t} *** {i} \t docs has bean dealed'.format(t=time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()),
i=index), '\n', category, '\t', content[:20])
end_time = time.time()
print('Total Cost Time %.2f' % (end_time - start_time) + 's')
扩展
缺失值处理方法(忽略/人工填值/均值/中位数等)
噪声数据处理方式(向均值光滑、离群点分析等)
正则学习
内容均来源于学习资料，在学习过程中进行记录，如有侵权联系作者进行删除
Change the world by program
