一条诡异的insert语句 - 天士梦

本邮件内容由第三方提供，如果您不想继续收到该邮件，可 点此退订 。

一条诡异的insert语句 - 天士梦  阅读原文»

问题背景

有同事反馈在mysql上面执行一条普通的insert语句，结果报错，
execute failed due to >>> Incorrect string value: '\xA1;offl...' forcolumn 'biz_info' at row 1

经过半天的折腾，终于搞清楚了来龙去脉，这里简单给大家分享下。为了方便说明，我将测试例子中的表和语句简化，但不影响问题重现。

问题复现

连接字符集：UTF8

表结构：

CREATE TABLE `ggg` (
`id` int(11) DEFAULT NULL,
`c` varchar(100) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=gbk;

root@test 06:13:48>insert into gggvalues(1,concat('cardName:校园网',char(59),'offlineCardType:campus'));

Query OK, 1 row affected, 1 warning (2.51sec)

root@test 06:14:36>show warnings\G

*************************** 1. row***************************

Level: Warning

Code: 1366

Message: Incorrect string value:'\x91;offl...' for column 'c' at row 1

查看结果

root@test 06:16:06>select * from gggwhere id=1;

*************************** 1. row***************************

id: 1

c: cardName:�″�缃

问题分析

从报错的结果来看，感觉是字符集转换引起的问题，而且由于连接串的字符集是UTF8，表的字符集是GBK，更容易引起怀疑。但是，即使是字符集转换，也不应该导致插入报错，因为语句中的中文字符“校园网"都是普通汉字，UTF8->GBK不应该存在问题。那我们在回过头来看看insert语句，唯一特殊的是使用了concat和char两个函数。会不会跟这两个函数有关系？char(59)实际是字符“;”，为了验证想法，做了两个实验：

1. 将char(59)替换成';'
   

insert into ggg values(1,concat('cardName:校园网',';','offlineCardType:campus'));

2.设置连接串字符集为GBK

insert into gggvalues(1,concat('cardName:校园网',char(59),'offlineCardType:campus'));

果然，两种情况执行结果都是OK的，查询结果如下：

root@test 09:22:32>select * fromggg\G

*************************** 1. row***************************

id: 1
c: cardName:�″�缃

*************************** 2. row***************************

id: 1
c: cardName:校园网;offlineCardType:campus

*************************** 3. row***************************

id: 1
c: cardName:校园网;offlineCardType:campus

跟踪了下源代码，找到了原因。char()函数返回的是一个binary类型字符串，在进行concat时，会导致'cardName:校园网'字符串到binary的转换。转换前，mysql将字符串‘cardName:校园网’看作是9个英文字符和3个汉字字符；转换后，mysql将其看作是18个字节的二进制串，其中，UTF8字符集的三个汉字“校园网”占了9个字节。由于目标表字符集是GBK，因此在入库时，还会发生一次binary到GBK的转码,“校园网”的二级制编码是E6A0A1 E59BAD E58DA1，在转码过程中，由于GBK字符集只包含一个字节(编码值<128)和二个字节的字符(汉字和特殊字符)，“校园网”的二进制串会按照两个字节拆分E6A0 A1E5 9BAD E58D A1，前面四个变为“�″�缃”，解析到A1时，由于A1既不是单字节字符，又不能与后面的字节组成一个合法的GBK字符，导致转换出错。
现在就很好解释为啥改变语句后，两种情况都OK了。第一种情况，将char(59)直接替换成‘;’，由于不涉及UF8到binary的转换，只有utf8到gbk转码的过程，这个转换是OK的，不会出现乱码；第二种情况，将连接串的字符集设置为GBK，那么会涉及GBK到binary的转换，然后再从binary转换到GBK，由于整个转换过程并没有二进制数据丢失，所以也是OK的。

问题产生的两个关键点

1. 连接字符集与表字符集不匹配
   
2. 使用了char函数

解决办法

1.char函数提供了using语法来实现返回特定字符集的字符串，比如：char(59 using utf8)

2.保证连接字符集与表字符集一致。

本文链接：一条诡异的insert语句，转载请注明。

从手工测试转型web自动化测试继而转型成专门做自动化测试的学习路线。 - 又是你  阅读原文»

在开始之前先自学两个工具
商业web自动化测试工具请自学QTP；QTP的学习可以跳过，我是跳过了的。
开源web自动化测试工具请自学Selenium；我当年是先学watir（耗时1周），再学selenium（也耗时1周）。

这里主要讲一些能让读者和普通菜鸟区别开来的东西，这些请和上面的两个工具穿插地学：

基础：
1.浏览器前端相关的简单技术基础：就是那些什么html、xml、css、javascript、等等，详见w3c教程网站
http://www.w3schools.com/
2.学习使用一个单元测试框架或者叫做测试执行器，建议testNG，学完testNG，你应该具备了3小时学会任何一个测试执行器的能力，我用过的有testNG/Junit/Nunit/ruby unit test/python test unit/visual studio里的测试执行器、等等；
http://testng.org/doc/documentation-main.html
3.学习一个语言的基本语法：
静态语言建议java、动态语言建议python；只需要学基本语法，一般三个月之内都可以学完。我顺便学了一些ruby、groovy、shell脚本等。
4.学习一两个版本控制工具的使用：
svn和git； 我那时候还顺便学了hg，不过现在没多少人用了
只要使用，很简单，请自己找资料
5.学习page object设计模式：
selenium官网有例子，极其简单； 理解这个设计模式花了一两天。用这个模式改写一个网站的全套回归测试用例花了我一个月。
6.学习jenkins的使用：
只要使用，很简单，请自己找资料； 这一点大概花费一个下午时间。
7.学习自动化构建工具的使用：
至少学ant和maven； 这个在学testNG时顺便掌握，只需要简单应用。

提高：
1.浏览器是怎么工作的：
How browsers work
http://taligarsiel.com/Projects/howbrowserswork1.htm 这个听说有中文翻译的，自己找吧。
2.学习了解一个关键字驱动的测试执行器，建议robot
Robot Framework 有前面的基础，这个大概学一个下午可简单掌握，深入掌握清熟读官方文档。
3.学习了解一个BDD业务驱动的测试执行器，建议cucmber
Cucumber 个人对BDD持保留意见，有testNG的基础学这个大概一两个下午（这个是用ruby的，我假设你顺便学了ruby语法）。另外我顺便花了一两个下午看了看JBehave（Java的）、Spock（groovy的）。
4.学习几个数据库的简单使用：
mysql，mongodb； 这个w3cschool有教程。自己找。我其实还没看。
5.学习服务器端的操作系统简单使用：
linux，unix及shell脚本之类的； 这个比较费时间，推荐鸟哥的linux私房菜系列。
6.学习其他的商业工具或自动化测试工具
原理都是差不多的，大概有几十种可以学，但都差不多。这个我断断续续把网上能找到都看了看，大概看了几十种吧。其中不乏很奇葩的产品比如fit和fitness
7.继续扩展学习各种开发框架、网络协议等。如果你想去巨头互联网公司做测试开发，学完这条才是刚刚开始；这也是为什么转型做专职的自动化测试、测试开发人员对很多手工测试人员而言这么困难。

当然互联网公司的测试开发前面的很多东西可以跳过不学。有的人跳过的东西太多了，就会开发出各种奇葩的测试框架/工具，但他反正可以做到这个职位了。

8.扩展到其他方向如app自动化、性能等等。如果想去新创业的互联网公司做测试开发，app的自动化肯定要学，但有前面的基础，学这个易如反掌。

其他可有可无的知识（主要用途是吹牛逼、给别人讲课、写文章吹牛逼）：

1.黑盒测试理论；一周入门，三个月精通。大部分人学到三个月就够了。觉得自己很懂的同学其实要知道你还不是很懂。因为这块挖深了可以挖出很多神奇但对找份好工作没多大用的理论知识。建议你到架构师层次再来深入学习这些理论以便更好地给人讲课、吹牛逼。

2.白盒测试理论；这个建议还是要懂一点的。比如桩啊驱动啊，覆盖率啊；工具方面可以自学sonar，并尝试和jenkins一起用，集成进一个小项目中。工具不学也没关系因为很少有公司用。个把月可以掌握。但一般在前述很多东西学习时顺便掌握。

3.自动化测试理论；这个N多的人其实压根都不懂。比如你跟他说个数据驱动、业务逻辑和测试实现分离、False alarm误报之类的自动化测试的专有名词他都不知道你说什么鬼。但这种人也可以做自动化测试，做测试开发，所以这个也就是可有可无的了。当然我建议还是要有。顺便你可以看下别人研究的自动化测试ROI的错误计算方法（因为大部分计算方法都是错误的）、自动化测试和手工测试的区别等等。还有什么基于模型的自动化测试设计理论、正交设计法和全配对（pariwise）设计法的异同等等。这些学了之后可以用于吹牛逼和给别人讲课。

4.测试管理理论、项目管理知识：你学了如果没机会也做不了管理。你不学有机会了也可以坐上管理的位子。

本文链接：从手工测试转型web自动化测试继而转型成专门做自动化测试的学习路线。，转载请注明。

阅读更多内容