ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

.NET+PostgreSQL实践与避坑指南(推荐)

2021-05-24 19:02:05  阅读:191  来源: 互联网

标签:PostgreSQL CITEXT 避坑 Npgsql PG 版本 NET MSSQL


简介
.NET+PostgreSQL(简称PG)这个组合我已经用了蛮长的一段时间,感觉还是挺不错的。不过大多数人说起.NET平台,还是会想起跟它“原汁原味”配套的Microsoft SQL Server(简称MSSQL),其实没有MSSQL也没有任何问题,甚至没有Windows Server都没问题,谁说用.NET就一定要上微软全家桶?这都什么年代了……

PG和MSSQL的具体比较我就不详细展开了,自行搜一下,这种比较分析文章很多。应该说两个RDBMS各有特色,MSSQL工具集庞大(大多我们都用不到或不会用),安装较为麻烦,PG比较小巧,但功能也不弱,我们要的它都有,性能方面我做过简单的增删查改的测试,两者看不出什么明显差别,MSSQL貌似最近才提供了Linux版,而PG天生跨平台,MSSQL的授权费似乎不低(没深究),PG开源免费,对比较抠的客户来说,是不太愿意另外花钱买一套MSSQL的,PG就是非常不错的选择。

希望你看完本文之后,也同我一样觉得.NET + PostgreSQL,Rocks!没问题的了。

PG的版本
PG应该选择什么版本?Linux还是Windows?当然是首选Linux,但开发环境无所谓,你在你自己的工作电脑上安装一个Windows版也是没问题的,有人说两者性能差距较大,Linux明显要好于Windows,但我有做过测试,这个并没有被证实如此,然而,我还是推荐Linux,一来安装简便,二来配置简单(命令行界面用起来感觉比较一致),三来方便写一些脚本来实现数据库定时备份之类的。其实你并不需要担心安装了PG后电脑会变慢,我完全感觉不出来,它是个安静的乖萌宠,你不叫它,它就静静坐在那里,我的Windows电脑上也安装了一个PG,我经常用它来做一些脚本测试或试验。另外,现在也能在Windows下直接安装Linux版本的PG了,WSL了解下?

PG有很多的版本,现在的最新版是10.4,它前面的版本是9.6.x,嗯?有点奇怪不是?10.4只有“两段”,而9.6.x有三段,其实之前一直是三段,9表示大版本,6表示中版本,后面是小版本,小版本只有小的功能改进,不会对数据格式造成任何影响,就是说,你的PG从9.6.1升级到9.6.9,你直接升了把旧程序替换掉就是,保证没有任何问题。但如果你之前的版本是9.5.3,要升级到9.6.9,那就不行了,因为中间版本变了,你需要用一个迁移工具去把你的旧的数据格式转为新的方可,那对10.4这个版本而言,哪个是大版本,哪个是中版本,哪个是小版本?这里我感觉有点不连贯,PG在从9升级到10的时候,似乎丢掉了“大版本”,10虽然是9的后继,但它应该算一个中版本,所以,10.1升级到10.4是不用转换数据的,直接升级程序即可。那PG的下一个中版本是什么?没错,是11,再下一个应该就是12了。软件这个东西,如果你没什么历史包袱,我觉得直接选择最新的,比如选择10.4,将来升级10.5,10.6的时候也简单。


 
说点额外的,PG10是去年(2017)正式推出的,距离现在都不到一年,刚出来的时候我就想,这个“重大升级”(想想看iPhone X,Mac OS X,10这个数字是很特别不是?)能不能带来性能上的大提升呢?我试了一下,结论是:没有。确实它的升级文档上也没提及到性能有什么明显提升,它主要增加了对表分区的原生支持,表分区,就是你的表中的数据的数量很多很多的时候,通过表分区来提高读写速度,至于表要多大才推荐分区呢?PG的官方文档说是:如果表的尺寸赶上了你主机的内存的时候,可以考虑表分区……所以,对于那些只有区区几千万行或几百万行数据的表,你确定要分区吗?

Npgsql
要用.NET使用PG,就得用nuget引入Npgsql这个包,这是它的官方网站:http://www.npgsql.org/,完全开源,它其实就是针对PG数据库的ADO.NET引擎(ADO.NET Data Provider)。这里是它的帮助手册:http://www.npgsql.org/doc/index.html

这里边并没有太多难点,你所需要做的,就是安装好你的PG数据库(Windows版/Linux版都行,没有什么影响),然后创建一个.NET项目(我推荐使用.NET Core),引入Npgsql,然后照着说明手册上的简单例子入一下门即可。


 
本文当然不会具体带你如何开始使用SELECT语句,下面主要讲述在使用过程中,我们所克服的一些困难或踩过的坑。

NVARCHAR呢?
MSSQL中用得最多的的文本类型是NVARCHAR,这是一个带长度限制的文本类型,对应地,PG中有VARCHAR,这样用没问题,但PG中的文本类型其实跟MSSQL中的文本类型是有点区别的,PG的文本基本上可以认为不限长度,VARCHAR及TEXT对PG内部来说,并没有什么差别,只是在写入的时候,VARCHAR会检查一下长度,所以性能上来看,VARCHAR并不比TEXT要快,较真的话可能还会慢点,因为它要检查长度嘛,所以你在设计数据库的时候可以无脑地将所有文本类型设置为TEXT(或后面提到的CITEXT),长度检查工作放在业务系统中去做即可。

想要大小写不敏感怎么办?
绝大多数时候,我们都是希望大小写不敏感的,大小写敏感反倒会带来很多困惑,查询不出,或者系统中存在同名的用户,一个叫John另一个叫john,MSSQL可以在创建库的时候指定大小写不敏感,而PG似乎没有这样的功能,它需要借助一个额外的组件,叫CITEXT,CI的意思就是Case Insensitive。要使用CITEXT组件,你需要安装postgresql10-contrib包(假设你安装的是PG10,如果不是的话你去找对应的包),再使用以下命令创建CITEXT类型:

1
CREATE EXTENSION IF NOT EXISTS CITEXT WITH SCHEMA public;
注:一个database只需要执行一次这个命令即可

如果你使用的是psql客户端连上去使用PG的话,这时候已经OK了,你会发现CITEXT的字段已经是大小写不敏感了,但如果你用的是Npgsql用代码去访问PG的话,CITEXT似乎没生效,其实原因是这样的,CITEXT并不是PG的原生类型,你在用查询语句的时候,需要在参数后面加上“::CITEXT”显式地告诉PG,你的参数是CITEXT类型,例子如下:

1
SELECT * FROM test_table WHERE test_name=@TextName::CITEXT AND category=@Category::CITEXT
嗯,我承认是有点麻烦,但习惯就好,我现在还不知道有什么更佳方法。

使用CITEXT时候出现NotSupportedException
这个异常的呈现内容大致如此:

System.NotSupportedException: The field 'application_id' has a type currently unknown to Npgsql (OID 41000). You can retrieve it as a string by marking it as unknown, please see the FAQ.
在 Npgsql.NpgsqlDataReader.GetValue(Int32 ordinal)
在 Npgsql.NpgsqlDataReader.get_Item(Int32 ordinal)
……

这个错误对我们而言,曾经像个幽灵似的,时不时出现,出现的时候重启一下服务程序就好了,不再出现,然后过几个星期或者几个月又出现,有时候一天出现多次也不是没有可能。最后是到github上面求助才最终搞懂了原因。链接:https://github.com/npgsql/npgsql/issues/1635


 
简单地说,PG对各种数据类型,是有一个内部的ID值的(叫oid),Npgsql在第一次连接数据库的时候,会获取到这些oid值并缓存起来,对于PG的内部类型,如INT什么的,这些oid值是固定的,但对于CITEXT似乎不是这样,因为CITEXT这个类型是我门自己用CREATE EXTENSION命令创建的(请参考本文前面内容),创建的时候确定其oid。我们在还原数据库的时候,也相当于重新创建了CITEXT类型,这样会导致CITEXT的oid发生变化,但Npgsql并不知道,所以就出现了这个异常。我们在开发过程中常常需要做还原数据库的动作,所以导致了这个问题的发生。

解决方法1,当数据库还原了之后,调用NpgsqlConnection.ReloadTypes(),刷新各类型oid,但这个很难,因为还原数据库都是手动操作,做完之后打开网页,在上面点一下通知程序吗?


 
解决方法2,重启一下程序。这个其实跟解决方法1差不多,只不过不需要写什么额外代码,考虑到还原数据库这个动作其实也不是太频繁,只是在开发环境中做,所以重启就重启吧,我们现在就干,规定还原数据库后自己重启下服务程序。(写个脚本干这个事情很简单)

标签:PostgreSQL,CITEXT,避坑,Npgsql,PG,版本,NET,MSSQL
来源: https://blog.csdn.net/weixin_55025557/article/details/117229737

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有