需要理解的基本概念：
1.随机变量A与随机变量的观测值a
2.概率密度函数：连续和离散
3.期望E
4.随机抽样：from numpy.random import choice
专业术语：
state and action
agent：动作的发出者
policy π：π是概率密度函数
reward R：奖励
state transition：是条件概率密度
强化学习中的随机性的两种来源：
动作的随机性：
通过policy π（）函数，可以知道当前状态下，各动作的发生概率，然后随机抽样选择a
状态转移的随机性：
trajectory（state，action，reward）-整个的轨迹：
return-回报-未来的累积奖励
discount return-折扣回报
折扣率是0-1之间的数
Ut跟未来的所有动作（A）和状态(S)都有关
value function-价值函数：
action-value function Q(s，a)：
Ut是一个随机变量，不是观测值（我们在t时刻得不到Ut），如果我们知道这个值的大小，我们就知道这个回报的大小。故我们用对Ut求期望，将t+1及其之后的S和A的随机性都积分掉了，这样这个Q价值函数至于当前的状态和动作有关。
该Qπ（st，at）的具体意义：就是在t时刻，st的状态下，基于π的策略判断做出at这个动作的好坏
optimal action value function-最优动作价值函数：
就是前面的Qπ（）函数去掉π
Q*（）函数的意义就是在t时刻，st的状态下，判断做出at这个动作的好坏
state value function-状态价值函数：
这里的A是随机变量，通过Qπ（）函数求A求期望将随机性去掉
该函数的具体含义就是评价当前状态的好坏
总结两种价值函数：
对于怎么用AI来控制agent做动作，有两种方法：
一种是学习策略函数π
一种是学习Q*（）-动作价值函数
