标签：SQLite 数据库 cache 事务 Design Concepts sqlite3 pager page
SQLite Design and Concepts
API
分为两大类
- core API. 基本的SQL操作
- extension API. 创建自定义的SQL操作。
基本数据结构
需要了解的组成部分有连接、statments、B树、pager。
为了写好SQLite代码，需要了解的基本概念，API、事务和锁。
连接和statments
这两种数据结构和查询语句的基础。一个连接表示对数据库的一个连接，也是一个事务上下文。statments由这些连接产生。statments在内部由VDBE字节码表示。
B-tree and pager
每个数据库连接可以有多个数据库。每一个数据库对象有一个B-tree对象，每一个B-tree对象有一个pager对象。
pager的工作包括把page从磁盘导入到内存中、写数据库、管理事务、处理锁和从crash中恢复等。
一个数据库连接中是在事务中操作，一个数据库连接不会同时有两个事务。
Core API
两种方式来执行SQL语句。
- prepared query. SQLite执行命令的最终方式。包括三个阶段
- preparation
- execution
- finalization
- wrapped query
连接数据库
sqlite3_open()传入:memory:或空字符串作为数据库的名称，会创建内存中的数据库。
如果数据库的pagesize和操作系统的pagesize相同，会提高IO效率。
运行prepared query
- prepation:把字符串转化为VDBE字节码。sqlite3_prepare_v2()生成sqlite3_stmt句柄，包括编译好的字节码和需要执行命令和迭代结果集的所有资源。
- execution:sqlite3_step使VDBE单步执行字节码。首次调用会获取某种锁。
- finalization:sqlite3_finalize()关闭statment，释放相关资源。
使用参数化的SQL
包括两种参数绑定
- positional
- named
使用参数绑定的优势
- 不需要编译，可以执行statment多次。只需要reset,然后重新bind，运行。
- 自动处理好转义字符，避免数据库注入和语法错误。
运行wrapped query
sqlite3_exec()和sqlite3_get_table()
exec()解析命令，识别出单独的语句，并依次处理。
处理错误
sqlite3_errcode()返回最后执行函数的错误码。使用sqlite3_errmsg()提供最后错误的描述。
格式化SQL语句
sqlite3_mprintf().类似sprintf(),%q和%s类似，不过会把每一个单引号变为连续的两个，防止数据库注入。%Q会为字符串首尾加上单引号，空指针会变成NULL
操作控制
使用注册filter或callback函数来达到在特定事件发生时会被monitor,control。
有三个hook函数
- sqlite3_commit_hook()
- sqlite3_rollback_hook()
- sqlite3_update_hook()
- wal_hook()（3.7版本中）
使用多线程
shared cache mode:使用多个一个线程来管理多个SQL连接，这些连接共享page cache，降低了server的内存使用。
extension API
事务
事务的生命周期
- 在事务下究竟是什么在运行。
在每个数据连接中的每个数据库对象，有一个B-Tree和pager对象。pager管理事务、锁、缓存、崩溃恢复。 - 事务何时开始，何时结束，何时开始影响其他数据库连接。
可以短到一个语句，可以长到直到你命令终结。一个操作默认在autocommit模式，即每一个命令在一个事务中运行。何时影响和锁的状态有关。 ###锁的状态 每一个事务以unlocked,reserved,exclusize锁状态开始
读事务
两次读操作
使用事务：unlocked->pending->shared->unlocked
不使用事务：unlocked->pending->shared->unlocked->pending->shared->unlocked
不适用事务，在两次读之间数据可能会改变
写事务
每一个操作,读或者写，都必须经过unlocked->pending->shared. pending是gateway lock。
reserved state
当要向数据库中写入时，需要从shared到reserved状态。到reserved状态后，可以把改变写到本地缓存，而不是数据库中。
进入reserved状态后，pager初始化rollback journal，是用于回滚和crash recovery的文件。实际是为更改前的数据库内容。
在reserved状态中，需要pager维护三种pages：改变的pages（存在page cache中），未改变的pages(读出的没有改变的page)以及日志pages(不在page cache中，而是在B-Tree改变page前写入joural)。
pending state
pending lock是gateway lock，保证不会有锁从unlocked到shared状态。
exclusive state
此状态下，主要工作是把改变的page从page cache冲入数据库文件。此时pager真正开始改变数据库。
在写入数据库之前，先确保日志文件已经被写入磁盘。
日志是系统崩溃或掉电后，日志是恢复数据库的唯一方法。
日志文件在commit之后才会被清除。
自动提交和效率
自动提交效率不高，因为每个语句都要获取锁。而且语句之间可能会被改变。
调整page cache
转向互斥状态
一般来说，当pager不能存储更多数据时，会从reserved状态转向互斥状态。实际上，有soft limit和hard limit。
soft limit是指page cache首次被占满，此时包括改变的和未更改page的混合。pager会移除未更改的page，如此重复，直到所有的都被更改的page占满。此时page cache都是已更改的page，进入hard limit，不得不转向互斥状态。
cache_size调整page cache的大小。
决定page cache的大小
利用sqlite3_analyer
等待锁
使用busy handler
sqlite3_busy_timeout()
使用正确的事务
写操作使用begin immediate
标签：SQLite,数据库,cache,事务,Design,Concepts,sqlite3,pager,page 来源： https://blog.51cto.com/u_15223551/2833598
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。