CSV反序列化基础：到List的转换
jackson是一个功能强大的json处理库，但通过其jackson dataformat csv模块，它也能够方便地处理csv数据。对于csv文件，最常见的反序列化场景是将其每一行映射到一个java对象（plain old java object, pojo），然后将所有这些对象收集到一个list中。
例如，假设我们有一个CSV文件，其内容如下：
x,y,z key1,valueY1,valueZ1 key2,valueY2,valueZ2 key3,valueY3,valueZ3
以及一个对应的Java POJO Foo：
class Foo {
private String x;
private String y;
private String z;
// 构造函数
public Foo() {}
public Foo(String x, String y, String z) {
this.x = x;
this.y = y;
this.z = z;
}
// Getter和Setter方法（Jackson反序列化需要）
public String getX() { return x; }
public void setX(String x) { this.x = x; }
public String getY() { return y; }
public void setY(String y) { this.y = y; }
public String getZ() { return z; }
public void setZ(String z) { this.z = z; }
@Override
public String toString() {
return "Foo{" + "x='" + x + '\'' + ", y='" + y + '\'' + ", z='" + z + '\'' + '}';
}
}
使用Jackson的CsvMapper，我们可以轻松地将CSV文件反序列化为List
import com.fasterxml.jackson.databind.MappingIterator;
import com.fasterxml.jackson.dataformat.csv.CsvMapper;
import com.fasterxml.jackson.dataformat.csv.CsvSchema;
import java.io.File;
import java.io.IOException;
import java.util.List;
public class CsvDeserializer {
public static List<foo> deserializeCsvToList(File csvFile) throws IOException {
CsvMapper csvMapper = new CsvMapper();
// 构建CSV Schema，使用第一行作为Header
CsvSchema schema = CsvSchema.emptySchema().withHeader();
// 读取CSV文件并反序列化为List<foo>
MappingIterator<foo> it = csvMapper.readerFor(Foo.class).with(schema).readValues(csvFile);
return it.readAll();
}
public static void main(String[] args) throws IOException {
// 假设有一个名为 "data.csv" 的文件
// File csvFile = new File("data.csv");
// 为了演示，我们先创建一个虚拟的CSV文件内容
String csvContent = "x,y,z\nkey1,valueY1,valueZ1\nkey2,valueY2,valueZ2\nkey3,valueY3,valueZ3";
File tempCsvFile = File.createTempFile("temp_data", ".csv");
java.nio.file.Files.writeString(tempCsvFile.toPath(), csvContent);
List<foo> fooList = deserializeCsvToList(tempCsvFile);
System.out.println("反序列化到List<foo>:");
fooList.forEach(System.out::println);
tempCsvFile.deleteOnExit(); // 退出时删除临时文件
}
}</foo></foo></foo></foo></foo>
挑战：直接反序列化到Map
虽然Jackson能够很好地处理CSV到List
因此，如果我们需要以Foo对象中的某个属性作为键来访问数据，例如以x字段作为键，直接的Jackson CSV反序列化方法无法满足这个需求。
解决方案：List到Map的后处理转换
解决这个问题的最佳实践是采用两阶段方法：
- 首先，使用Jackson将CSV文件反序列化为List
。 - 然后，利用Java Stream API将这个List
转换为Map ，在转换过程中指定哪个字段作为Map的键。
步骤一：反序列化为List
这一步如前文所述，我们通过Jackson的CsvMapper将CSV内容转换为List
步骤二：使用Stream API转换为Map
在获得List
假设我们希望使用Foo类中的x字段作为Map的键。我们需要在Foo类中提供一个方法来获取这个键值，例如getKeyProperty()：
class Foo {
// ... 其他字段和方法 ...
// 用于获取Map键的方法
public String getKeyProperty() {
return this.x; // 假设我们想用 'x' 作为 Map 的键
}
}
现在，我们可以执行转换：
import java.util.List;
import java.util.Map;
import java.util.function.Function;
import java.util.stream.Collectors;
// ... 导入 CsvMapper, CsvSchema, File, IOException 等 ...
public class CsvToMapConverter {
// 假设 deserializeCsvToList 方法已存在，如上文所示
public static List<foo> deserializeCsvToList(File csvFile) throws IOException {
CsvMapper csvMapper = new CsvMapper();
CsvSchema schema = CsvSchema.emptySchema().withHeader();
MappingIterator<foo> it = csvMapper.readerFor(Foo.class).with(schema).readValues(csvFile);
return it.readAll();
}
public static void main(String[] args) throws IOException {
// 模拟从CSV反序列化得到的 List<foo>
// 为了简化演示，这里直接创建 List，实际应用中会调用 deserializeCsvToList(csvFile)
String csvContent = "x,y,z\nkey1,valueY1,valueZ1\nkey2,valueY2,valueZ2\nkey3,valueY3,valueZ3";
File tempCsvFile = File.createTempFile("temp_data", ".csv");
java.nio.file.Files.writeString(tempCsvFile.toPath(), csvContent);
List<foo> fooList = deserializeCsvToList(tempCsvFile);
// 将 List<foo> 转换为 Map<string foo>
Map<string foo> fooMap = fooList.stream()
.collect(Collectors.toMap(Foo::getKeyProperty, Function.identity()));
System.out.println("\n转换后的Map:");
fooMap.forEach((key, value) -> System.out.println("Key: " + key + ", Value.y: " + value.getY()));
tempCsvFile.deleteOnExit();
}
}</string></string></foo></foo></foo></foo></foo>
在这段代码中：
- fooList.stream()：创建了一个Foo对象的流。
- Collectors.toMap()：是Stream API提供的一个收集器，用于将流中的元素收集到一个Map中。
- Foo::getKeyProperty：这是keyMapper函数，它定义了如何从每个Foo对象中提取Map的键。在这里，我们调用Foo对象的getKeyProperty()方法来获取键。
- Function.identity()：这是valueMapper函数，它定义了如何从每个Foo对象中提取Map的值。Function.identity()表示将Foo对象本身作为值。
注意事项
在使用Collectors.toMap()进行转换时，有几个重要的注意事项：
键的唯一性Collectors.toMap(keyMapper, valueMapper)默认要求生成的键是唯一的。如果CSV数据中存在多行具有相同的getKeyProperty()值，当toMap尝试将第二个具有相同键的元素添加到Map时，会抛出IllegalStateException，错误信息通常是"Duplicate key..."。
-
处理重复键 为了处理重复键的情况，Collectors.toMap()提供了另一个重载方法：toMap(keyMapper, valueMapper, mergeFunction)。mergeFunction是一个BinaryOperator，它定义了当遇到重复键时如何合并或选择值。
-
保留旧值： (oldValue, newValue) -> oldValue
Map<string foo> fooMapHandlingDuplicates = fooListWithDuplicates.stream() .collect(Collectors.toMap(Foo::getKeyProperty, Function.identity(), (oldValue, newValue) -> oldValue)); // 遇到重复键时保留旧值</string> -
保留新值： (oldValue, newValue) -> newValue
Map<string foo> fooMapHandlingDuplicates = fooListWithDuplicates.stream() .collect(Collectors.toMap(Foo::getKeyProperty, Function.identity(), (oldValue, newValue) -> newValue)); // 遇到重复键时保留新值</string> - 合并值： 如果Foo对象可以合并，你也可以定义一个更复杂的合并逻辑。
示例：处理重复键
// 模拟包含重复键的 List<foo> List<foo> fooListWithDuplicates = List.of( new Foo("key1", "valY1", "valZ1"), new Foo("key2", "valY2", "valZ2"), new Foo("key1", "valY_duplicate", "valZ_duplicate") // 重复键 ); // 遇到重复键时，保留旧值 Map<string foo> fooMapHandlingDuplicates = fooListWithDuplicates.stream() .collect(Collectors.toMap(Foo::getKeyProperty, Function.identity(), (oldValue, newValue) -> oldValue)); System.out.println("\n处理重复键后的Map (保留旧值):"); fooMapHandlingDuplicates.forEach((key, value) -> System.out.println("Key: " + key + ", Value.y: " + value.getY())); // 输出将显示 key1 对应 valY1</string></foo></foo> -
保留旧值： (oldValue, newValue) -> oldValue
性能考量 这种两阶段处理方法（先反序列化到List，再转换为Map）对于大多数应用场景来说是高效且可接受的。然而，如果CSV文件非常大，以至于反序列化后的List
会占用大量内存，可能需要考虑更高级的、基于流式处理的解决方案，但这通常涉及到更复杂的自定义解析逻辑，超出了Jackson CSV模块的直接能力范畴。对于TB级别的数据，可能需要使用专门的大数据处理框架。 键的来源getKeyProperty()方法可以根据实际需求返回Foo对象中的任何字段，甚至是多个字段的组合（例如，return this.x + "_" + this.y;），只要它能生成一个唯一的键。
总结
尽管Jackson的CSV模块不直接支持将CSV文件反序列化为以某列作为键的Map，但通过结合其强大的CSV到POJO列表的反序列化能力与Java Stream API的Collectors.toMap()方法，我们可以优雅且高效地实现这一目标。这种两阶段处理策略为处理CSV数据并以键值对形式访问提供了极大的灵活性和便利性，同时通过mergeFunction参数，也能够灵活应对数据中可能出现的重复键问题。
