NewLife.XCode是一个有10多年历史的开源数据中间件，支持nfx/netstandard，由新生命团队(2002~)开发完成并维护至今，以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析，蕴含多年开发经验于其中，代表作有百亿级大数据实时计算项目。

开源地址：/NewLifeX/X（求star, 729+）

回到目录

什么是脏数据

在XCode中，每次执行实体类更新entity.Update时，都希望只更新修改过的字段，而不是update所有字段。

一方面，减少数据库压力以及通信流量；

另一方面，多线程同时更新同一行数据的不同字段，在未加锁的情况下，避免脏写。

IsDirty和Dirtys，这是XCode的脏数据，常常出现在Valid中 。

如上图，前者判断Password字段是否有脏数据（Password被赋予跟原来不想等的值），后者清空Password脏数据。

脏数据是生成Update语句的核心，不脏的字段不会出现在update set之中，从而实现部分字段更新。

回到目录

设置脏数据

脏数据是XCode实体类内置功能，每一个实体类属性set操作中都带有脏数据逻辑。

实体类属性并非普通属性，而是带有OnPropertyChanging逻辑

这里是脏数据的默认设置点，先比较新旧值是否一致，如果一致，显然不会设置脏数据。

实体属性数值是否相等比较逻辑：

整数全部转换为Int64比较，避免因类型不同而误判

时间日期只比较年月日时分秒，而不比较毫秒等其它部分

字符串比较时，null与empty相等

浮点数比较（单精度和双精度），比较到小数点后6位

Decimal比较到小数点后12位

使用代码来表达，大概是下面的样子：

实体类属性赋值有三种方法：

user.Password = "Stone"

user.SetItem("Password", "Stone")

user["Password"] = "Stone"

主要功能相似，都是给Password字段赋值。

最大的不同点在于：后者一定不会设置脏数据，仅仅是简单赋值；前面两个可能会设置脏数据，要求Password原值不等于"Stone"时才会设置脏数据。

* SetItem就是第一种强类型脏数据和第三种弱类型赋值两者优点的混合体！

回到目录

脏数据效果

Update User Set Mobile='13012345678', Code='abcdef' Where ID=74

如上，修改了3个字段，但是Name本来就是“张三”，因此实际上只修改了两个字段，也就是说只有两个字段有脏数据（数值改变被弄脏了）。

最终生成的update set语句，只包含带有脏数据的字段。最后的where部分，则由主键组成。

回到目录

使用脏数据

脏数据最常见于数据验证Valid中，可以用来判断某个属性否则曾经被修改过

如上，两次用到脏数据，如果业务代码没有设置用户名或创建时间，则在Valid时设置。

因此，脏数据往往用于给字段设置默认值。除了可用于实体类Valid，还可以用于实体过滤器EntityModule.Valid。

判断脏数据有两种办法 Dirtys["CreateTime"]和 IsDirty("CreateTime") 。上面的__.CreateTime实质上就是"CreateTime"常量，仅仅是为了避免用户写错单词。

在大数据分析处理场合，数百万实体对象位于内存之中，Dirtys将导致每个实体对象附带实例化一个脏数据集合对象，而IsDirty则不会，因此效果更好。

回到目录

实现原理

第一代脏数据实现就是字典 Dictionary<String, Boolean>，后来发现在高并发性频繁出现多线程冲突；

第二代脏数据实现是并行字典ConcurrentDictionary<String, Boolean>，后来在大数据分析处理中发现，单个并行字典，哪怕是空的，也要占用约2k内存空间；

第三代脏数据实现DirtyCollection，采用了内置数组以及CAS原子操作，拥有最好的性能以及最小内存占用。

回到目录

系列教程

NewLife.XCode教程系列[版]

增删改查入门。快速展现用法，代码配置连接字符串

数据模型文件。建立表格字段和索引，名字以及数据类型规范，推荐字段（时间，用户，IP）

实体类详解。数据类业务类，泛型基类，接口

功能设置。连接字符串，调试开关，SQL日志，慢日志，参数化，执行超时。代码与配置文件设置，连接字符串局部设置

反向工程。自动建立数据库数据表

数据初始化。InitData写入初始化数据

高级增删改。重载拦截，自增字段，Valid验证，实体模型（时间，用户，IP）

脏数据。如何产生，怎么利用

增量累加。高并发统计

事务处理。单表和多表，不同连接，多种写法

扩展属性。多表关联，Map映射

高级查询。复杂条件，分页，自定义扩展FieldItem，查总记录数，查汇总统计

数据层缓存。Sql缓存，更新机制

实体缓存。全表整理缓存，更新机制

对象缓存。字典缓存，适用用户等数据较多场景。

百亿级性能。字段精炼，索引完备，合理查询，充分利用缓存

实体工厂。元数据，通用处理程序

角色权限。Membership

导入导出。Xml，Json，二进制，网络或文件

分表分库。常见拆分逻辑

高级统计。聚合统计，分组统计

批量写入。批量插入，批量Upsert，异步保存

实体队列。写入级缓存，提升性能。

备份同步。备份数据，恢复数据，同步数据

数据服务。提供RPC接口服务，远程执行查询，例如SQLite网络版

大数据分析。ETL抽取，调度计算处理，结果持久化