Excel 메모리 초과 문제

@Service
@RequiredArgsConstructor
public class CreateDictionaryService {
    private final Excel excel;

    private final DictionaryRepository dictionaryRepository;

    @Transactional
    public void create() {
        List<DictionaryDto> dtos = excel.getDictionaryDto();
        dictionaryRepository.deleteAll();
        dictionaryRepository.saveAll(dtos);
    }
}

@Component
@Slf4j
public class Excel {
    public List<DictionaryDto> getDictionaryDto() {
        List<File> excelFiles = getExcelList();

        try {
            List<DictionaryDto> dictionaryDtos = new ArrayList<>();

            for (File file : excelFiles) {
                // 모든 Excel 파일을 메모리에 로드하여 파싱하는 것은 비효율적입니다.
                Workbook workbook = new HSSFWorkbook(new BufferedInputStream(new FileInputStream(file)));
                Sheet sheet = workbook.getSheetAt(0);

                for (int i = 1; i < sheet.getPhysicalNumberOfRows(); i++) {
                    Row row = sheet.getRow(i);
                    ...
                }
            }
        }

        return dictionaryDtos;
    }
}

@Modifying
@Query(value = "TRUNCATE TABLE dictionary", nativeQuery = true)
void truncate();

@Service
@RequiredArgsConstructor
public class CreateDictionaryService {
    private final Excel excel;

    private final DictionaryRepository dictionaryRepository;

    @Transactional
    public void create() {
        dictionaryRepository.truncate();

        // 잦은 재할당 방지를 위해 AtomicLong 사용
        AtomicLong num = new AtomicLong(1L);

        // 1000건 단위로 쪼개서 bulkInsert 실행
        excel.processExcelInChunks(1000, (chunk) -> {
            dictionaryRepository.bulkInsert(chunk, num);
        });
    }
}

public class DictionaryRepositoryImpl implements DictionaryRepository {
    @Override
    public void bulkInsert(List<DictionaryDto> dtos, AtomicLong idGenerator) {
        // bulk insert
        jdbcTemplate.batchUpdate(
            "INSERT INTO dictionary(dictionary_id, kor_word, eng_word, description, category, pronunciation) VALUES (?, ?, ?, ?, ?, ?)",
            dtos,
            dtos.size(),
            (PreparedStatement ps, DictionaryDto dto) -> {
                ps.setLong(1, idGenerator.getAndIncrement());
                ps.setString(2, dto.korWord());
                ps.setString(3, dto.engWord());
                ps.setString(4, dto.description());
                ps.setString(5, dto.category());
                ps.setString(6, dto.pronunciation());
            }
        );
    }
}

@Component
@Slf4j
public class Excel {
    ...

    public void processExcelInChunks(int chunkSize, Consumer<List<DictionaryDto>> chunkProcessor) {
        List<File> excelFiles = getExcelList();
        // chunk를 담을 자료형
        List<DictionaryDto> chunk = new ArrayList<>(chunkSize);

        for (File file : excelFiles) {
            log.info("Reading Excel file: {}", file.getName());

            // 파일을 메모리에 다 올리지 않고 버퍼 크기만큼만 읽음
            try (InputStream is = new FileInputStream(file);
                 Workbook workbook = StreamingReader.builder()
                         .rowCacheSize(100) // 메모리에 유지할 행 수
                         .bufferSize(4096)  // 버퍼 사이즈
                         .open(is)) {

                Sheet sheet = workbook.getSheetAt(0);

                for (Row row : sheet) {
                    // 첫 번째 행(헤더) 건너뛰기
                    if (row.getRowNum() == 0) continue;

                    ...

                    // 청크 사이즈에 도달하면 DB 저장 후 List를 비움
                    if (chunk.size() >= chunkSize) {
                        chunkProcessor.accept(chunk);
                        chunk.clear();
                    }
                }
            } catch (Exception e) {
                log.error("Failed to read Excel file: {}", file.getName(), e);
                throw new RuntimeException("Failed to read Excel file: " + file.getName(), e);
            }
        }

        // 모든 파일을 다 읽고 난 후, 자료형에 남은 데이터 저장
        if (!chunk.isEmpty()) {
            chunkProcessor.accept(chunk);
            chunk.clear();
        }
    }
}