oracle中对json数据处理的详细指南
背景
在公司接手的项目碰到这么一个表，里面有一列数据保存的是json字符串。如果说这一列是一些配置数据，不需要应用到筛选和过滤，只是跟着主键去获得的数据，那你这么做并没有什么不妥。但事实是，这一列需要检索和过滤数据，这**居然是遍历全表，再把json数据转换成对象去遍历匹配。我服了，你咋这么能呢？喜欢这样玩为什么当初不用mongodb？查了一下文档，知道oracle 在12c之后有对json数据的操作方法，网上关于这部分的文章非常非常非常少（毕竟没几个人会把oracle当成mongodb这么地**是吧），就整理一下，方便自己以后查看。
入门探究
有一说一这官方文档非常地硬，啃了好久都啃不动，而且很多理想当然的用法都不行。oracle中关于json的操作函数有json_array、json_exists、json_values、json_table、json_query，其中json_array是用来构建json数组的，而不是用来查找结果的。在文中也会小篇幅简单说一下用法。
json_exists
json_exists是一个sql函数，用于判断是否存在符合条件的json数据。它可以在where子句中使用，用于筛选json列中符合特定条件的数据。
官方给出的语法是这样的：
json_exists(json_column, json_path_expression, [returning_clause])
其中，json_column是指要查询的json列，json_path_expression是指json路径表达式，用于指定要查找的json数据的位置和条件。
json路径表达式中可以使用各种操作符和函数，以及通配符和其他特殊字符。例如：
- $: 表示根元素
- .: 表示当前元素
- [*]: 表示匹配数组中的所有元素
- []: 表示过滤数组中符合条件的元素
- @: 表示当前元素的属性
在json_path_expression中，可以使用一些函数，如json_value、json_query、json_table等来处理json数据。例如：
- json_value(json_column, '$.name'): 返回json_column列中name字段的值
- json_query(json_column, '$.name'): 返回json_column列中address字段的值
- json_table(json_column, '$.hobbies[*]' columns (phone_number varchar2(20) path '$')): 返回json_column列中phones数组中的所有元素的phone_number字段的值
返回值：
如果符合条件的json数据存在，则返回true；否则返回false。如果使用returning_clause子句，则返回符合条件的json数据。
例如：
select * from my_table where json_exists(json_data, '$.name');
这个例子查询my_table表中json_data列中是否存在name字段的值。如果存在，返回true，否则返回false。
json_array
json_array 是一个 oracle sql 函数，用于创建一个 json 数组。下面是使用 json_array 的一些示例：
语法：
json_array(value1 [, value2] [, value3] ...);
其中，value1, value2, value3 等是一个或多个要添加到 json 数组的值。这些值可以是任何有效的 sql 值，例如字符串、数字、日期、布尔值等。如果没有指定任何值，json_array 将生成一个空的 json 数组。
创建一个包含两个字符串值的 json 数组
select json_array('apple', 'orange') from dual;
输出结果：
["apple", "orange"]
创建一个包含两个数字值的 json 数组
select json_array(10, 20) from dual;
输出结果：
[10, 20]
创建一个包含多个元素的 json 数组
select json_array('apple', 10, true) from dual;
输出结果：
["apple", 10, true]
在上述示例中，json_array 函数接受一个或多个参数，并将它们作为一个 json 数组返回。你可以在 json_array 中使用不同类型的参数，例如字符串，数字和布尔值，它们都将被转换为相应的 json 类型。
json_value
json_value函数用于提取json文档中的值。它的语法如下：
json_value(json_document, path_expression [returning datatype])
其中：
- json_document是包含json文档的字符串或blob列。
- path_expression是用于指定要提取的值的路径表达式。
- datatype是可选的，用于指定返回值的数据类型。
以下是一些示例：
提取json文档中的单个值：
select json_value('{"name": "john", "age": 30}', '$.name') as name from dual;
输出：
name----john
提取json文档中的数组：
select json_value('{"fruits": ["apple", "banana", "orange"]}', '$.fruits') as fruits from dual;
输出：
fruits
-----------------------
["apple", "banana", "orange"]
提取json文档中的数组元素：
select json_value('{"fruits": ["apple", "banana", "orange"]}', '$.fruits[0]') as first_fruit from dual;
输出：
first_fruit
-----------
apple
指定返回值的数据类型：
select json_value('{"price": 9.99}', '$.price' returning number) as price from dual;
输出：
price
-----
9.99
在使用json_value函数时，需要注意以下几点：
- 如果路径表达式不匹配json文档中的任何内容，则返回null。
- 如果未指定返回值的数据类型，则返回的值将是一个字符串。
- json_value函数还有一个类似的兄弟函数json_query，不同的是，它返回json对象或数组，而不是标量值。
json_query
json_query函数用于从json文档中查询数据，返回一个json对象或数组。它的语法如下：
json_query(json_document, path_expression [returning datatype])
其中：
- json_document是包含json文档的字符串或blob列。
- path_expression是用于指定要查询的值的路径表达式。
- datatype是可选的，用于指定返回值的数据类型。
以下是一些示例：
查询json文档中的单个值：
select json_query('{"name": "john", "age": 30}', '$.name') as name from dual;
输出：
name
----
null
查询json文档中的数组：
select json_query('{"fruits": ["apple", "banana", "orange"]}', '$.fruits') as fruits from dual;
输出：
fruits
-----------------------
["apple", "banana", "orange"]
查询json文档中的数组元素：
select json_query('{"fruits": ["apple", "banana", "orange"]}', '$.fruits[0]') as first_fruit from dual;
输出：
first_fruit
-----------
null
因为是单值，json_query无法展示
在使用json_query函数时，需要注意以下几点：
- 如果路径表达式不匹配json文档中的任何内容，则返回null。
- 如果未指定返回值的数据类型，则返回的值将是一个字符串。
- json_query函数还有一个类似的兄弟函数json_value，不同的是，它返回标量值，而不是json对象或数组。
总之，json_query函数在处理json文档时非常有用，可以轻松地查询和提取需要的数据。
json_table
json_table函数可以将json数据转换为表格形式。以下是json_table的用法：
语法：
json_table(json, path columns (column1 expr1 [, column2 expr2]...))
参数说明：
- json：要转换的json数据。
- path：要提取的json元素的路径。
- columns：指定要转换的列及其表达式。
- column1 expr1 [, column2 expr2]...：指定要转换的列及其表达式。
示例：
假设我们有以下json数据：
{
"employees": [
{ "name": "john", "age": 30, "gender": "male" },
{ "name": "jane", "age": 25, "gender": "female" },
{ "name": "bob", "age": 35, "gender": "male" }
]
}
我们可以使用以下查询将其转换为表格形式：
select name, age, gender
from json_table('{
"employees": [
{ "name": "john", "age": 30, "gender": "male" },
{ "name": "jane", "age": 25, "gender": "female" },
{ "name": "bob", "age": 35, "gender": "male" }
]
}', '$.employees[*]' columns (
name varchar2(50) path '$.name',
age number path '$.age',
gender varchar2(10) path '$.gender'
));
输出结果：
name age gender
------ ---- ------
john 30 male
jane 25 female
bob 35 male
在上面的例子中，$.employees[*]指定要处理的json元素路径，name, age, 和 gender 列使用 path 关键字指定表达式的路径。
进阶实战篇
我举个实际的例子，我有一列，对应的一列的数据大概是这样的：
{
"name": "cxk", // string
"sex": "female", // stirng
"hobbies": ["sing", "dance", "rap", "basketball"], // 普通数组
"company": {"name": "unknow", "staffnum": "unknow"}, // 对象属性
"fans": [ // 对象数组
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
1. json_query与json_value的区别
看了前面的介绍，可能有些同学对这个完全不能理解，有什么区别？
查询单值
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.name'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.name'
) as json_value_res
from dual;
输出结果：
json_query_res json_value_res
--------------------------------
null cxk
区别1：json_query无法返回单值，json_value可以返回单值
查询对象
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.company'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.company'
) as json_value_res
from dual;
输出结果：
json_query_res json_value_res
-------------------------------- ------------------
{"name": "unknow", "staffnum": "unknow"} null
区别2：json_query能返回对象，json_value不能返回对象值
查询普通数组
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies'
) as json_value_res
from dual;
输出结果：
json_query_res json_value_res
-------------------------------- ------------------
["sing", "dance", "rap", "basketball"] null
区别3：json_query能返回普通数组，json_value不能返回数组
结合1、2、3点，我们给hobbies加个下标
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies[0]'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.hobbies[0]'
) as json_value_res
from dual;
输出结果：
json_query_res json_value_res
-------------------------------- ------------------
null sing
查询对象数组
select json_query
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.fans'
) as json_query_res,
json_value
('{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"},
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}', '$.fans'
) as json_value_res
from dual;
输出结果：
json_query_res json_value_res
-------------------------------- ------------------
[{"name": "ncfans1"},{"name": "ncfans2"}] null
区别4：json_query可以匹配对象数组的值，json_value不可以
2. json_exists判断某个值是否等于目标值
这是比较难的一个步骤，我自己摸索了很久很久才懂，我这里举例都写到了谓动词的位置，实际上json_exists是用在where后的。
案例1：找出存在name属性的行
select case when json_exists('{"name": "john", "age": 30, "city": "new york"}', '$.name') then 'true' else 'false' end as result from dual;
输出：
result
---------
true
但其实，我们更多都是在匹配name值等于具体的值，这就要用匹配的机制，但愿你还记得前面介绍的用法
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
', '$.name ? (@ == "cxk")') then 'true' else 'false' end as result from dual;
@表示当前name属性这一层，值一定要用双引号括起来
多值匹配
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
', '$.company ? (@.name == "unknow" && @.staffnum == "unknow")') then 'true' else 'false' end as result from dual;
如果是不同层级的多值匹配，建议在where后用and连接起来，比如：
select * from mytable where json_exists(my_cloumn, '$.name ? (@ == "cxk")') and json_exists(my_cloumn, '$.company ? (@.name == "unknow" && @.staffnum == "unknow")')
json_exists可以检索普通数组中的值
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
',
'$.hobbies[*] ? (@ == "sing")')
then 'true' else 'false' end as result from dual;
执行结果为true
json_exists无法检索对象数组
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": [
{"name": "ncfans1"},
{"name": "ncfans2"}
]
}
',
'$.fans")')
then 'true' else 'false' end as result from dual;
无论是$.fans还是$.fans[*]返回结果都是false，完全无法获取对象数组中的值。无法判断里面的值的对比情况。
json_exists遇到空数组时，返回的是true
select case when json_exists('
{
"name": "cxk",
"sex": "female",
"hobbies": ["sing", "dance", "rap", "basketball"],
"company": {"name": "unknow", "staffnum": "unknow"}
"fans": []
}
',
'$.fans")')
then 'true' else 'false' end as result from dual;
但如果是$.fans[0]返回的是false
3. $.xx中不能用字符串拼接、不能用任何函数会报ora-40442错误
4. 比较非对象数组的值除了json_exists可以用json_value与json_query
select * from mytable where json_value(my_cloumn, '$.name') = 'cxk' and json_query(my_cloumn, '$.fans') = '[]' -- 判空
5. json_query不支持通配符，查询全部就是$.fans，不需要$.fans[*]；支持使用下标指定
6. json_value与json_query可以嵌套使用，比如
select * from mytable where json_value(json_query(my_cloumn, '$.fans'), '$.name') = 'ncfans1'
这个语句就是查找出fans中有ncfans1的记录
7. 数组判空 使用json_query
select * from mytable where json_query(my_cloumn, '$.fans') = '[]'
使用json_exists
select * from mytable where not json_exists(my_cloumn, '$.fans[0]')
8. 使用json_table可以解决任何复杂的问题
但是json_table本身就很复杂，如果用来筛选数据，那这个语句太难维护了。
9. 在mybatis框架中，由于$.xx的语句要放在单引号中'，切不能使用任何函数，不能字符拼接
所以用#{}无法注入，要用${}，这在有些公司是不被允许的。目前我是这么用了，等安全部门的渗透测试结果出来，是否有sql注入风险再来更新。
注意事项
以上提到的操作均需要在oracle12以上版本中使用，但并不是12以上版本都能使用。这个和数据库设置的compatible值有关。compatible必须大于12.0才可以使用。
你可以使用拥有dba权限的用户执行以下语句查看compatible值
select name, value from v$parameter where name = 'compatible'
否则，你会得到这样的一个报错
ora-00406: compatible parameter needs to be 12.0 or greater
然后你就白忙活了，因为一般都不会为了你特地升级compatible的。没事，我就是白忙活了。
总结
关于oracle中对json数据处理的文章就介绍至此，更多相关oracle中json数据处理内容请搜索硕编程以前的文章，希望以后支持硕编程！
学习SQL