java读取csv文件传入数据库

原创admin 分类：热门问答 2024-05-01 18:54:40 0

java读取csv文件传入数据库
#### 引言作为一名资深的Java开发者，我经常面临将数据从CSV文件导入到数据库的任务。这个过程不仅需要对Java的文件操作和数据库操作有深入了解，还需要考虑到数据的准确性和操作的效率。本文将从第一人称的角度，详细讲解如何使用Java读取CSV文件并将其内容存储到数据库中，同时提供两个详细的代码案例，以供参考。

定义目的条件

在开始之前，让我们明确几个关键点：

CSV文件：一种简单的文本文件格式，以逗号分隔值，常用于数据交换。
数据库：可以是任何支持JDBC的数据库系统，如MySQL、PostgreSQL等。
目的：实现数据的快速、准确导入，减少人工操作错误。

重要知识点与区别

在Java中读取CSV文件，我们通常使用java.io包中的类，如BufferedReader，以及java.util包中的CSVParser和CSVReader类（需要引入外部库，如OpenCSV）。而数据库操作则依赖于JDBC API。

核心类与方法

CSV文件读取：
- BufferedReader：用于高效读取文本文件。
- CSVParser和CSVReader：解析CSV文件的行和字段。
数据库操作：
- Connection：数据库连接对象。
- PreparedStatement：用于执行SQL语句，支持预处理语句，提高效率和安全性。

使用场景

此方法适用于数据迁移、批量数据导入、数据分析前的准备工作等场景。

代码案例

案例一：使用Java IO和JDBC

import java.io.BufferedReader;
import java.io.FileReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class CSVToDBExample1 {
    public static void main(String[] args) throws Exception {
        String csvFile = "path/to/csvfile.csv";
        String dbUrl = "jdbc:mysql://localhost:3306/yourdb";
        String user = "username";
        String password = "password";

        Connection conn = DriverManager.getConnection(dbUrl, user, password);
        try (BufferedReader br = new BufferedReader(new FileReader(csvFile))) {
            String line;
            while ((line = br.readLine()) != null) {
                String[] data = line.split(",");
                String sql = "INSERT INTO your_table (col1, col2) VALUES (?, ?)";
                PreparedStatement stmt = conn.prepareStatement(sql);
                stmt.setString(1, data[0]);
                stmt.setString(2, data[1]);
                stmt.executeUpdate();
            }
        }
        conn.close();
    }
}

案例二：使用OpenCSV和JDBC

import com.opencsv.CSVReader;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class CSVToDBExample2 {
    public static void main(String[] args) {
        String csvFile = "path/to/csvfile.csv";
        String dbUrl = "jdbc:postgresql://localhost:5432/yourdb";
        String user = "username";
        String password = "password";

        try (Connection conn = DriverManager.getConnection(dbUrl, user, password);
             CSVReader reader = new CSVReader(new FileReader(csvFile))) {
            String[] nextRecord;
            String sql = "INSERT INTO your_table (col1, col2) VALUES (?, ?)";
            while ((nextRecord = reader.readNext()) != null) {
                PreparedStatement stmt = conn.prepareStatement(sql);
                stmt.setString(1, nextRecord[0]);
                stmt.setString(2, nextRecord[1]);
                stmt.executeUpdate();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

问题	回答
如何处理CSV文件中的特殊情况（如引号、换行符）？	使用CSV解析库（如OpenCSV）可以自动处理这些特殊情况。
数据库连接失败怎么办？	检查数据库URL、用户名和密码是否正确，确认数据库服务是否运行。
导入数据时出现性能问题怎么办？	考虑使用批量插入或事务处理来提高性能。
如何确保数据的准确性？	在导入前进行数据校验，使用预处理语句防止SQL注入。