Fork me on GitHub

由 SpringBoot 升级到 2.4.2 引发的 Jackson 的 JsonFormat 问题排查

发表于 | 分类： | 次阅读
字数统计: 1,973 字 | 阅读时长 ≈ 9 min

3hmYwN

事情是这样的

在不久的以前，我们项目的 Tech Lead 决定在git repo中引入 DependaBot 来对项目中的依赖做检查并升级。我们的一个使用 SpringBoot 的服务也就这样成了待升级依赖的一份子。我们待升级的依赖包括但不限于：

  • Bump newrelic-agent from 5.8.0 to 6.3.0 …
  • Bump guava from 28.0-jre to 30.1-jre …
  • Bump spring-hateoas from 1.1.0.RELEASE to 1.2.3 …
  • Bump postgresql from 42.2.8 to 42.2.18 …
  • Bump cloudwatch from 2.13.41 to 2.15.66 …
  • Bump json-schema-validator from 4.2.0 to 4.3.3 …
  • Bump org.springframework.boot from 2.2.5.RELEASE to 2.4.2 …
  • Bump io.spring.dependency-management …
  • Bump io.freefair.lombok from 4.1.3 to 5.3.0 …
  • Bump org.flywaydb.flyway from 6.1.3 to 7.5.0 …

可以看到，几乎都将这些依赖升级到了最新的版本，甚至 SpringBoot2.4.2 是在这次升级的前三天 release 的。但是我们不慌，升级依赖什么的对我们来说跟喝水一样简单，因为… 

1
2
3
4
5
6
7
8
9
10
11
jacocoTestCoverageVerification {
  dependsOn 'jacocoTestReport'
  violationRules {
    rule {
      element = 'CLASS'
      limit {
        minimum = 1.0
      }
    }
  }
}

我们的代码的测试覆盖率的要求是惊人的100%🤣 这在我之前的公司是绝对无法实现的。不仅仅是 unit test， 我们还有 integration 测试覆盖，还有用到 cypress 又一次覆盖了所有的 endpoint。不就是改改代码么/升级依赖啥的么，随便玩。

于是

梭哈！👨🏻‍💻👨🏻‍💻👨🏻‍💻👨🏻‍💻👨🏻‍💻👨🏻‍💻👨🏻‍💻升级，跑测试！

几分钟后：do0JqI

行嘛，不出我所料（才怪🙃）果然挂了。

打开log一看， emmm… 

1
2
Resolved [org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Cannot deserialize value of type `java.time.LocalDate` from String "2020-01-15": Failed to deserialize java.time.LocalDate: (java.time.format.DateTimeParseException) Text '2020-01-15' could not be parsed: Unable to obtain LocalDate from TemporalAccessor: {YearOfEra=2020, MonthOfYear=1, DayOfMonth=15},ISO of type java.time.format.Parsed; nested exception is com.fasterxml.jackson.databind.exc.InvalidFormatException: Cannot deserialize value of type `java.time.LocalDate` from String "2020-01-15": Failed to deserialize java.time.LocalDate: (java.time.format.DateTimeParseException) Text '2020-01-15' could not be parsed: Unable to obtain LocalDate from TemporalAccessor: {YearOfEra=2020, MonthOfYear=1, DayOfMonth=15},ISO of type java.time.format.Parsed
 at [Source: (PushbackInputStream); line: 2, column: 18] (through reference chain: com.example.demo.Demo["localDate"])]

汪的发！？😢 用的好好的@JsonFormat怎么就突然不好使了？

问题排查

打开代码看一下：

我有这么一个对象：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
public class Demo {
    public Demo(){}
    public Demo(LocalDate localDate){
        this.localDate = localDate;
    }
    @JsonFormat(pattern = "yyyy-MM-dd", lenient = OptBoolean.FALSE)
    private LocalDate localDate;
    public LocalDate getLocalDate() {
        return localDate;
    }
    public void setLocalDate(LocalDate localDate) {
        this.localDate = localDate;
    }
}

其中配置了 localDate 的反序列化为严格模式lenient = OptBoolean.FALSE，防止将 number 反序列化为日期，那样是不正确的。

有这么一个 controller：

1
2
3
4
5
6
7
8
@RestController
public class Controller {
    @GetMapping("/demo")
    public ResponseEntity<String> test(@RequestBody Demo demo) {
        var localDate = demo.getLocalDate().toString();
        return ResponseEntity.ok(localDate);
    }
}

代码很简单，就是有一个对象，接收一个 LocalDate 的属性，用pattern yyyy-MM-dd 接收类似于2020-01-15这样格式的日期。

但是之前用得好好的升级了 SpringBoot2.4.2之后却用不了了？emmmm… 一定是 SpringBoot 升级升了啥不该升的玩应，🧐我要去 SpringBoot 的升级日志里看看，是不是升级了 Jackson 啥的，万一找到一个大霸哥🦟，提个 PR 不就从此成为顶级开源项目的 contributor 了。。。😎

SpringBoot 2.4.2 升级日志

去 GitHub 上打开 SpringBoot Release v2.4.2 ， 浏览下 Bug Fixes 、 Documentation、Dependency Upgrades， 发现一行：

Upgrade to Jackson Bom 2.11.4 #24726

果然，升级了 Jackson 到2.11.4。 对比了一下发现我原先的 SpringBoot 中的 Jackson 版本是2.10.2， emm… 一般这种稍大的版本升级都伴随着很多 magic 的事情。总之接下来要去 Jackson 的升级日志里面看一下，有什么升级跨越了2.10.*和2.11.*这两个版本。

Jackson 2.11升级日志

这个升级日志在它 GitHub 的 wiki 里，点击Jackson Release 2.11。

阅读一下，第一遍竟然没有找到任何线索，阿西吧🥵，通篇与@JsonFormat的字眼几乎没有。但是，功夫不负有心人，由于我这个错误是时间类型的转换问题，在如下所示的更改中，发现对于Java 8date/time有相关升级：

xCxT2g

  • #148: Allow strict LocalDate parsing

打开这个 issue 看一下，如他们所讨论的，在之前配置了@JsonFormat(pattern = "yyyy-MM-dd", lenient = OptBoolean.FALSE), Jackson 创建的DateTimeFormatter还是会使用ResolverStyle.SMART smart 模式，并不能阻止非法日期2019-11-31的输入。 所以在2.11版本之后， 如果设置了lenient = OptBoolean.FALSE, DateTimeFormatter会使用严格模式，看看代码：

在Jackson 中的JSR310DateTimeDeserializerBase这个类中，有这么一个方法createContextual， 有这么一段代码：

1
2
3
if (!deser.isLenient()) {
  df = df.withResolverStyle(ResolverStyle.STRICT);
}

可是，为什么DateTimeFormatter使用了严格模式，会导致上述报错呢？

Java8 之后的 java.time 之 DateTimeFormatter

严格模式下的字符串转LocalDate

举个🌰👀👀

1
2
3
4
5
6
7
8
public static void main(String[] args) {
  DateTimeFormatter formatter = DateTimeFormatter
    .ofPattern("yyyy-MM-dd")
    .withResolverStyle(ResolverStyle.STRICT);

  LocalDate localDate = LocalDate.parse("2021-01-20", formatter);
  System.out.println("localDate = " + localDate);
}

执行，并抛出异常，转换失败！

1
Exception in thread "main" java.time.format.DateTimeParseException: Text '2021-01-20' could not be parsed: Unable to obtain LocalDate from TemporalAccessor: {YearOfEra=2021, DayOfMonth=20, MonthOfYear=1},ISO of type java.time.format.Parsed

关键字YearOfEra？🧐啊，带年代的年？沃德发😱？

打开类DateTimeFormatter搜索一下yyyy，发现一段注释里面y: year-of-era：

1
2
3
4
5
6
7
8
9
10
11
* All letters 'A' to 'Z' and 'a' to 'z' are reserved as pattern letters. The
* following pattern letters are defined:
* <table class="striped">
* <caption>Pattern Letters and Symbols</caption>
* <thead>
*  <tr><th scope="col">Symbol</th>   <th scope="col">Meaning</th>         <th scope="col">Presentation</th> <th scope="col">Examples</th>
* </thead>
* <tbody>
*   <tr><th scope="row">G</th>       <td>era</td>                         <td>text</td>              <td>AD; Anno Domini; A</td>
*   <tr><th scope="row">u</th>       <td>year</td>                        <td>year</td>              <td>2004; 04</td>
*   <tr><th scope="row">y</th>       <td>year-of-era</td>                 <td>year</td>              <td>2004; 04</td>

原来，u才是代表年的那个字母，而y是指带有纪元（era）的年，在DateTimeFormatter严格模式下使用，yyyy-MM-dd并不合法，正确的使用姿势是uuuu-MM-dd！！！

所以yyyy要怎么用呢？如下，带上G表示一下公元前或者公元后吧。AD/BC

1
2
3
4
5
DateTimeFormatter formatter = DateTimeFormatter
  .ofPattern("yyyy-MM-dd G")
  .withResolverStyle(ResolverStyle.STRICT);

LocalDate localDate = LocalDate.parse("2021-01-20 AD", formatter);

至此，大功告成，问题解决，依赖也成功升级

总结一下

问题解决了心情很好，但是反思一下，Java8 都出来这么久了，新的日期时间也用了很多，但是就是忽略了y和u这么不起眼的小问题！

在问题的排查中，实际上并不如上述流程这样顺利，我还在 Jackson 的 GitHub 里面提了 issue

https://github.com/FasterXML/jackson-modules-java8/issues/199

在我排查 Jackson 的源码的时候，发现他们对于这段代码df = df.withResolverStyle(ResolverStyle.STRICT);的升级，并没有很完善的测试。在他们的源码中可以看到test case 都是只是测试了异常情况，并没有覆盖原先本应该正确的 case（可见 unit test 是多么的重要），他们的测试源码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
public class LocalDateDeserTest extends ModuleTestBase {
    private final ObjectMapper MAPPER = newMapper();

    final static class StrictWrapper {
        @JsonFormat(pattern="yyyy-MM-dd",
                lenient = OptBoolean.FALSE)
        public LocalDate value;

        public StrictWrapper() { }
        public StrictWrapper(LocalDate v) { value = v; }
    }

    @Test(expected = InvalidFormatException.class)
    public void testStrictCustomFormat() throws Exception
    {
        /*StrictWrapper w =*/ MAPPER.readValue("{\"value\":\"2019-11-31\"}", StrictWrapper.class);
    }
}

这个测试的问题在于，将{ "value" : "2019-11-31"}改成合法的也能跑过。因为严格模式下， yyyy-MM-dd并不合法，同样会跑出InvalidFormatException异常。所以我在 Jackson 的jackson-modules-java8这个 repo 下还提了一个 PR 去修改他们的测试用例：

https://github.com/FasterXML/jackson-modules-java8/pull/201

不过也只是简单覆盖一下这个 case，对于其他用到yyyy的测试并未做修改，希望我的 PR 能被合进去吧哈哈😜虽然只是单元测试并不是代码功能，但也很有用啊。

陈年风楼 wechat
Add my WeChat, share tech-skills to each other 🙆‍