偶像说,不在于广,而在于渊。
桢子姐姐也说,qcy,你为什么不继续做你的技术呢?…没想到你竟是这种人…(虽然不知道是神马意思…)
非常感谢身边有这种时刻提醒你“好自为之、警钟长鸣”的好朋友。
确实,越来越需要对已有的知识储备进行深挖。
准备毕业,从现在开始深入下去。
读一行行存储的JSON字符串文件(\n是文件换行,而不是以逗号分隔的csv)
import json
path = 'ch02/usagov_bitly_data-03-16-1331923249.txt'
records = [json.loads(line) for line in open(path)] # 一行为一个element,存入list
key in dict # key 是否在dict.keys()中
所谓的标准库
from collections import defaultdict
def get_counts2(sequence):
counts = defaultdict(int) # values will initialize to 0
for x in sequence:
counts[x] += 1
return counts
defaultdict(int), defaultdict(float), defaultdict(str),defaultdict(dict)
对dict的排序
把dict中的k,v生成tuple
l = [(k, v) for k, v in dict.items()][(k, d[k]) for k in dict.keys()] # 我喜欢这么写
l.sort() # 根据k排序 -_-!
用collections标准库
from collections import Counter
counts = Counter(time_zones)
counts.most_common(10)
x=np.array([1,4,3,-1,6,9])
x.argsort() # 返回从小到大的索引值
np.where(series.str.constains('表达式或正则表达式规则'), 'x', 'y') # np.where是,则输出'x',否则输出'y'
聚合 groupby , sum() # 每一类的个数
groupby('xxx') 需要区分:sum、count、size
sum:如果是数字,就加总
count:数数,每一列都数数(不知道nan会不会计入)
size:按'xxx'数数,每一类一共多少个。
对pandas的一列series计数
df['x'].value_counts()
pd.value_counts(df['x'], sort=False) # 计数完毕后,是否排序
unstack# 展开,不要透视
dataframe:pivot,pivot_table
pd.merge(df1, df2) # 尤其适用于3NF的数据库,主外键,合并到一张表里操作
pivot,经常是把按行存的,转成一列列的数据。
如:
时间
代码
价格
/3/1
601318
70
/3/1
601398
7
...
/3/10
601318
72
/3/10
601398
8
转成
601318
601398
/3/1
70
7
...
/3/10
72
8
...
pivot_table
例子:求电影平均得分
合并多个df,默认按行合并
pd.concat([df1, df2, df3], ignore_index=True) # 要去掉原来df中的index。
另一种做法是合并以后,reset_index
统计:每年出生的男生、女生人数
判断一个浮点数是否为1
print(np.allclose(1.0+1e-6,1))
print(1.0+1e-6 == 1)
print(1.0+1e-10 == 1)
两个df是否一致(尤其是浮点数)
assert Equal??
例:求男女比例(A[i, j] / sum(A[i, :]))。
对每一行进行归一化(非常常见的操作)
竖着除
横着除(很诡异!)
怎么解决?? 终于试出来了!
或者 更神奇的做法
列相加,再行去除
sort_values: 按某一列的值排序 (ascending可选)
sort_index: 按index排序(ascending可选)
关于数据分位数
1. 正找 --> 处于0.8的数是几
还可以选择插值法
interpolation(插值方法) :{‘linear’, ‘lower’, ‘higher’, ‘midpoint’, ‘nearest’}
2. 反求 --> 0.11111 在什么位置
series.searchsorted(某个数) --> 返回在这个已经排序的series中的下标
dataframe的map
定义一个函数: f = lambda x: x*2
df['x'].map(f) # df['x'] =df['x'].apply(lambda x: x*2)
元素去重,且不改变顺序(用set,会改变顺序)
df['x'].unique() --> 即可
import numpy as np
A = [1, 2, 2, 3, 4, 3]
a = np.unique(A)
print a # 输出为 [1 2 3 4]
a, b, c = np.unique(A, return_index=True, return_inverse=True)
print a, b, c # 输出为 [1 2 3 4], [0 1 3 4], [0 1 1 2 3 2]
isin函数
场景:去掉df中的一些元素,若df['x'] 不等于 1 或 'a' 或 'qcy' 或 'lrx'。
isin, ~ isin
另外:
groupby,
merge & concat,
apply, map, applymap, lambda
...
好好学!
标准库!一定好好看API!