NestJS에서 파일 업로드 간소화: 디스크 저장소 없이 CSV 및 XLSX에 대한 효율적인 메모리 내 구문 분석
- DDD원래의
- 2024-10-01 06:26:03375검색
NestJS의 간편한 파일 구문 분석: 속도, 보안 및 확장성을 위해 메모리에서 CSV 및 XLSX 업로드 관리
소개
웹 애플리케이션에서 파일 업로드를 처리하는 것은 일반적인 작업이지만 다양한 파일 형식을 처리하고 올바르게 처리되는지 확인하는 것이 어려울 수 있습니다. 개발자는 업로드된 파일을 서버에 저장하지 않고 구문 분석해야 하는 경우가 많습니다. 이는 서버 저장 비용을 줄이고 민감한 데이터가 불필요하게 유지되지 않도록 하는 데 특히 중요합니다. 이 기사에서는 특히 CSV 및 XLS/XLSX 파일용 파일 업로드를 처리하기 위해 사용자 정의 NestJS 모듈을 만드는 과정을 살펴보고 Node.js 스트림을 사용하여 메모리에서 이러한 파일을 구문 분석하므로 정적 파일이 서버에서 생성됩니다.
왜 NestJS인가?
NestJS는 TypeScript를 활용하고 테스트 가능성, 확장성, 느슨하게 결합 및 유지 관리가 쉬운 애플리케이션을 구축할 수 있는 즉시 사용 가능한 애플리케이션 아키텍처를 제공하는 진보적인 Node.js 프레임워크입니다. NestJS를 사용하면 모듈식 구조, 강력한 종속성 주입 시스템 및 광범위한 생태계를 활용할 수 있습니다.
1단계: 프로젝트 설정
코드를 살펴보기 전에 새로운 NestJS 프로젝트를 설정해 보겠습니다. 아직 설치하지 않았다면 NestJS CLI를 설치하세요.
npm install -g @nestjs/cli
새 NestJS 프로젝트 만들기:
nest new your-super-name
프로젝트 디렉토리로 이동하세요:
cd your-super-name
2단계: 필수 패키지 설치
파일 업로드 및 구문 분석을 처리하려면 몇 가지 추가 패키지를 설치해야 합니다.
npm install @nestjs/platform-express multer exceljsfile-type
- Multer: 멀티파트/폼 데이터를 처리하기 위한 미들웨어로 주로 파일 업로드에 사용됩니다.
- Exlesjs: CSV/XLS/XLSX 파일을 구문 분석하기 위한 강력한 라이브러리.
- File-Type: 스트림이나 버퍼의 파일 형식을 감지하기 위한 라이브러리입니다.
3단계: 파일을 저장하지 않고 Multer Storage Engine 생성
파일 업로드 프로세스를 맞춤설정하기 위해 맞춤형 Multer 스토리지 엔진을 생성하겠습니다. 이 엔진은 CSV 및 XLS/XLSX 파일만 허용되도록 하고, Node.js 스트림을 사용하여 메모리에서 해당 파일을 구문 분석하고, 파일을 디스크에 저장하지 않고 구문 분석된 데이터를 반환합니다.
엔진용 새 파일 만들기:
import { PassThrough } from 'stream';
import * as fileType from 'file-type';
import { BadRequestException } from '@nestjs/common';
import { Request } from 'express';
import { Workbook } from 'exceljs';
import { createParserCsvOrXlsx } from './parser-factory.js';
const ALLOWED_MIME_TYPES = [
'text/csv',
'application/vnd.ms-excel',
'text/comma-separated-values',
'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet',
'application/vnd.ms-excel',
] as const;
export class CsvOrXlsxMulterEngine {
private destKey: string;
private maxFileSize: number;
constructor(opts: { destKey: string; maxFileSize: number }) {
this.destKey = opts.destKey;
this.maxFileSize = opts.maxFileSize;
}
async _handleFile(req: Request, file: any, cb: any) {
try {
const contentLength = Number(req.headers['content-length']);
if (
typeof contentLength === 'number' &&
contentLength > this.maxFileSize
) {
throw new Error(`Max file size is ${this.maxFileSize} bytes.`);
}
const fileStream = await fileType.fileTypeStream(file.stream);
const mime = fileStream.fileType?.mime ?? file.mimetype;
if (!ALLOWED_MIME_TYPES.includes(mime)) {
throw new BadRequestException('File must be *.csv or *.xlsx');
}
const replacementStream = new PassThrough();
fileStream.pipe(replacementStream);
const parser = createParserCsvOrXlsx(mime);
const data = await parser.read(replacementStream);
cb(null, {
[this.destKey]:
mime === 'text/csv' ? data : (data as Workbook).getWorksheet(),
});
} catch (error) {
cb(error);
}
}
_removeFile(req: Request, file: any, cb: any) {
cb(null);
}
}
이 사용자 정의 스토리지 엔진은 파일의 MIME 유형을 확인하고 CSV 또는 XLS/XLSX 파일인지 확인합니다. 그런 다음 Node.js 스트림을 사용하여 메모리에서 파일 전체를 처리하므로 서버에 임시 파일이 생성되지 않습니다. 이 접근 방식은 특히 민감한 데이터를 처리할 때 효율적이고 안전합니다.
4단계: 파서 팩토리 생성
파서 팩토리는 파일 형식에 따라 적절한 파서를 결정하는 역할을 담당합니다.
파서용 새 파일을 만듭니다.
import excel from 'exceljs';
export function createParserCsvOrXlsx(mime: string) {
const workbook = new excel.Workbook();
return [
'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet',
'application/vnd.ms-excel',
].includes(mime)
? workbook.xlsx
: workbook.csv;
}
이 팩토리 함수는 MIME 유형을 확인하고 적절한 파서(xlsx 또는 csv)를 반환합니다.
5단계: NestJS 컨트롤러에서 Multer 구성
다음으로, 맞춤형 스토리지 엔진을 사용하여 파일 업로드를 처리하는 컨트롤러를 만들어 보겠습니다.
새 컨트롤러 생성:
nest g controller files
files.controller.ts에서 Multer 및 사용자 정의 스토리지 엔진을 사용하여 파일 업로드를 구성합니다.
import {
Controller,
Post,
UploadedFile,
UseInterceptors,
} from '@nestjs/common';
import { FileInterceptor } from '@nestjs/platform-express';
import { Worksheet } from 'exceljs';
import { CsvOrXlsxMulterEngine } from '../../shared/multer-engines/csv-xlsx/engine.js';
import { FilesService } from './files.service.js';
const MAX_FILE_SIZE_IN_MiB = 1000000000; // Only for test
@Controller('files')
export class FilesController {
constructor(private readonly filesService: FilesService) {}
@UseInterceptors(
FileInterceptor('file', {
storage: new CsvOrXlsxMulterEngine({
maxFileSize: MAX_FILE_SIZE_IN_MiB,
destKey: 'worksheet',
}),
}),
)
@Post()
create(@UploadedFile() data: { worksheet: Worksheet }) {
return this.filesService.format(data.worksheet);
}
}
이 컨트롤러는 파일 업로드를 처리하기 위한 엔드포인트를 설정합니다. 업로드된 파일은 CsvOrXlsxMulterEngine에 의해 처리되며 구문 분석된 데이터는 디스크에 저장되지 않은 채 응답으로 반환됩니다.
6단계: 모듈 설정
마지막으로 컨트롤러를 포함할 모듈을 설정해야 합니다.
새 모듈 생성:
nest g module files
files.module.ts에서 컨트롤러를 가져옵니다.
import { Module } from '@nestjs/common';
import { FilesController } from './files.controller.js';
import { FilesService } from './files.service.js';
@Module({
providers: [FilesService],
controllers: [FilesController],
})
export class FilesModule {}
이 모듈을 AppModule로 가져와야 합니다.
7단계: HTML을 사용하여 파일 업로드 테스트
파일 업로드 기능을 테스트하기 위해 사용자가 CSV 또는 XLS/XLSX 파일을 업로드할 수 있는 간단한 HTML 페이지를 만들 수 있습니다. 이 페이지는 파일을 /api/files 엔드포인트로 보내며, 그곳에서 메모리에서 구문 분석되고 처리됩니다.
파일 업로드 테스트를 위한 기본 HTML 파일은 다음과 같습니다.
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<title>File Upload</title>
</head>
<body>
<h1>Upload a File (CSV or XLSX)</h1>
<form action="/api/files" method="post" enctype="multipart/form-data">
<label for="file">Choose file:</label>
<input type="file" id="file" name="file" accept=".csv, .xlsx" required>
<br><br>
<button type="submit">Upload</button>
</form>
</body>
</html>
파일 업로드를 위한 HTML 페이지를 렌더링하려면 먼저 @nestjs/serve-static이라는 추가 NestJS 모듈을 설치해야 합니다. 다음 명령을 실행하면 됩니다:
npm install @nestjs/serve-static
설치 후 AppModule에서 이 모듈을 구성해야 합니다.
import { Module } from '@nestjs/common';
import { join } from 'path';
import { ServeStaticModule } from '@nestjs/serve-static';
import { FilesModule } from './modules/files/files.module.js';
@Module({
imports: [
FilesModule,
ServeStaticModule.forRoot({
rootPath: join(new URL('..', import.meta.url).pathname, 'public'),
serveRoot: '/',
}),
],
})
export class AppModule {}
이 설정을 통해 공개 디렉토리에서 정적 파일을 제공할 수 있습니다. 이제 브라우저에서 http://localhost:3000으로 이동하여 파일 업로드 페이지를 열 수 있습니다.
파일 업로드
파일을 업로드하려면 다음 단계를 따르세요.
- '파일 선택' 버튼을 클릭하여 파일을 선택하세요.
- 업로드 프로세스를 시작하려면 '업로드' 버튼을 클릭하세요.
파일이 성공적으로 업로드되면 파일이 업로드되고 포맷되었다는 확인 메시지가 표시됩니다.
참고: 업로드된 파일의 형식을 지정하는 코드는 포함하지 않았습니다. 이는 CSV 또는 XLS/XLSX 파일을 처리하기 위해 선택한 라이브러리에 따라 다르기 때문입니다. GitHub에서 전체 구현을 볼 수 있습니다.
인메모리 파일 처리의 장단점 비교
인메모리 파일 처리를 사용할지 디스크에 파일을 저장할지 결정할 때 장단점을 이해하는 것이 중요합니다.
인메모리 처리의 장점:
디스크에 임시 파일 없음:
- 보안: 민감한 데이터가 서버 디스크에 남지 않아 데이터 유출 위험이 줄어듭니다.
- 리소스 효율성: 서버는 임시 파일을 위한 디스크 공간을 할당할 필요가 없으며 이는 저장 공간이 제한된 환경에서 특히 유용할 수 있습니다.
더 빠른 처리:
- 성능: 디스크에서 파일을 쓰고 읽는 오버헤드를 제거하므로 메모리의 파일을 구문 분석하는 속도가 더 빨라질 수 있습니다.
- I/O 작업 감소: 디스크 I/O 작업이 적다는 것은 대기 시간이 짧고 강력하다는 것을 의미합니다. 파일 처리 처리량이 훨씬 더 높습니다.
단순화된 정리:
- 정리 필요 없음: 파일이 디스크에 저장되지 않으므로 임시 파일을 관리하거나 정리할 필요가 없어 코드베이스가 단순화됩니다.
인메모리 처리의 단점:
메모리 사용량:
- 높은 메모리 소비: 대용량 파일은 상당한 양의 메모리를 소비할 수 있으며, 서버에 리소스가 충분하지 않으면 메모리 부족 오류가 발생할 수 있습니다.
- 확장성: 대용량 파일이나 여러 파일 업로드를 동시에 처리하려면 신중한 메모리 관리 및 확장 전략이 필요할 수 있습니다.
파일 크기 제한:
- 메모리 제한: 처리할 수 있는 최대 파일 크기는 서버에서 사용 가능한 메모리에 따라 제한됩니다. 이는 의미 있는 일이 될 수 있습니다. 대용량 파일을 처리하는 애플리케이션의 단점.
오류 처리의 복잡성:
- 오류 관리: 스트리밍 데이터의 오류를 관리하는 것은 디스크에서 파일을 처리하는 것보다 더 복잡할 수 있으며, 특히 부분 데이터를 복구하거나 분석해야 하는 경우에는 더욱 그렇습니다.
인메모리 처리를 사용하는 경우:
소형에서 중형 파일: 애플리케이션이 상대적으로 작은 파일을 처리하는 경우 인메모리 처리가 속도와 단순성을 제공할 수 있습니다.
보안에 민감한 애플리케이션: 디스크에 저장하면 안 되는 민감한 데이터를 처리할 때 메모리 내 처리를 통해 데이터 유출 위험을 줄일 수 있습니다.
고성능 시나리오: 높은 처리량과 최소 지연 시간이 필요한 애플리케이션은 인메모리 처리 오버헤드 감소의 이점을 누릴 수 있습니다.
디스크 기반 처리를 고려해야 하는 경우:
대용량 파일: 애플리케이션이 매우 큰 파일을 처리해야 하는 경우 메모리 부족을 방지하기 위해 디스크 기반 처리가 필요할 수 있습니다.
리소스가 제한된 환경: 서버 메모리가 제한된 경우 디스크에서 파일을 처리하면 메모리 고갈을 방지하고 리소스 관리를 향상할 수 있습니다.
지속적인 저장 요구: 감사, 백업 또는 향후 검색을 위해 업로드된 파일의 복사본을 보관해야 하는 경우 파일을 디스크에 저장해야 합니다.
외부 스토리지 서비스와의 통합: 대용량 파일의 경우 AWS S3, Google Cloud와 같은 외부 스토리지 서비스에 업로드하는 것이 좋습니다.
- 스토리지 또는 Azure Blob Storage. 이러한 서비스를 사용하면 서버에서 스토리지를 오프로드할 수 있으며, 필요에 따라 클라우드에서 파일을 처리하거나 인메모리 처리를 위해 검색할 수 있습니다.
확장성: 클라우드 스토리지 솔루션은 대용량 파일을 처리하고 중복성을 제공하여 데이터가 안전하고 여러 지리적 위치에서 쉽게 액세스할 수 있도록 보장합니다.
비용 효율성: 클라우드 스토리지를 사용하면 로컬 서버 리소스의 필요성이 줄어들고 종량제 가격이 제공되므로 대용량 파일을 처리하는 데 더 비용 효율적일 수 있습니다.
결론
이 기사에서는 CSV 및 XLS/XLSX 파일을 처리하고, 메모리에서 구문 분석하고, 파일을 디스크에 저장하지 않고 구문 분석된 데이터를 반환하는 NestJS의 사용자 정의 파일 업로드 모듈을 만들었습니다. 이 접근 방식은 Node.js 스트림의 기능을 활용하여 서버에 임시 파일이 남지 않으므로 효율적이고 안전합니다.
또한 메모리 내 파일 처리와 디스크에 파일 저장의 장단점을 살펴보았습니다. 인메모리 처리는 속도, 보안 및 단순성을 제공하지만 이 접근 방식을 채택하기 전에 메모리 사용량과 잠재적인 파일 크기 제한을 고려하는 것이 중요합니다.
엔터프라이즈 애플리케이션을 구축하든 소규모 프로젝트를 구축하든 파일 업로드를 올바르게 처리하고 구문 분석하는 것이 중요합니다. 이 설정을 사용하면 불필요한 서버 저장이나 데이터 보안 문제에 대한 걱정 없이 NestJS에서 파일 업로드를 마스터할 수 있습니다.
아래 댓글 섹션에서 여러분의 생각과 개선 사항을 자유롭게 공유해 주세요!
이 기사가 마음에 들었거나 이러한 도구가 유용하다고 생각했다면 Dev.to에서 저를 팔로우하여 코딩 및 개발에 대한 더 많은 통찰력과 팁을 얻으세요. 여러분의 코딩 여정을 더욱 원활하게 만들어줄 유용한 콘텐츠를 정기적으로 공유합니다.
X(트위터)에서 저를 팔로우하세요. 여기서 프로그래밍과 기술에 대한 더 흥미로운 생각, 업데이트, 토론을 공유합니다! 놓치지 마세요 - 팔로우 버튼을 클릭하세요.
또한 LinkedIn에서 저를 팔로우하여 전문적인 통찰력, 최신 프로젝트 업데이트, 코딩, 기술 동향 등에 대한 토론을 받아보실 수도 있습니다. 개발 실력을 한 단계 끌어올릴 수 있는 귀중한 콘텐츠를 놓치지 마세요 - 함께해요!
위 내용은 NestJS에서 파일 업로드 간소화: 디스크 저장소 없이 CSV 및 XLSX에 대한 효율적인 메모리 내 구문 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!