Meningkatkan Kelajuan dan Prestasi dengan Caching Lanjutan dalam NestJS: Cara Menggunakan AVL Trees dan Redis

Dalam dunia hari ini, kepantasan dan kecekapan dalam menjawab permintaan adalah amat penting untuk sistem berskala besar dan trafik tinggi. Platform dalam talian seperti tapak web e-dagang, rangkaian sosial dan perkhidmatan perbankan menghadapi sejumlah besar data dan permintaan pengguna. Permintaan yang tinggi ini bukan sahaja meletakkan beban yang besar pada pelayan dan pangkalan data tetapi juga boleh memberi kesan yang ketara kepada pengalaman pengguna. Dalam konteks ini, melaksanakan sistem caching boleh menjadi penyelesaian yang berkesan untuk meningkatkan prestasi dan mengurangkan beban sumber.

Dalam artikel ini, kami meneroka pelaksanaan sistem caching lanjutan yang menggabungkan pepohon AVL dan Redis. Sistem ini termasuk mekanisme keselamatan, pengurusan TTL (Time to Live), dan penyepaduan dengan Redis untuk meningkatkan prestasi dan fleksibiliti. Matlamatnya adalah untuk memanfaatkan kelebihan kedua-dua teknologi sambil mengurangkan kelemahan mereka.

Nota Penting: Artikel ini dibangunkan dengan bantuan kecerdasan buatan.

---

Kelebihan dan Kelemahan Menggabungkan Sistem Caching Berasaskan Pokok AVL dengan Redis

Kelebihan:

1. Peningkatan Kecekapan Memori:

   • Pengurusan TTL Pintar: Dengan menggunakan pepohon AVL untuk mengurus tamat tempoh data, penggunaan memori boleh dioptimumkan, dan pengekalan data basi dapat dicegah. Ini amat berguna dalam senario di mana data berubah dengan cepat dan tamat tempoh yang tepat diperlukan.

2. Keselamatan Dipertingkat:

   • Pengesahan Token: Menambah mekanisme pengesahan berasaskan token meningkatkan keselamatan Redis. Lapisan keselamatan tambahan ini menghalang capaian tanpa kebenaran kepada cache, dengan itu mengukuhkan keselamatan sistem secara keseluruhan.

3. Pengurusan TTL Lanjutan:

   • Dasar Tamat Tempoh Tersuai: Pokok AVL membenarkan pelaksanaan dasar tamat tempoh yang lebih kompleks dan disesuaikan yang mungkin tidak disokong oleh Redis di luar kotak.

4. Struktur Data Pelbagai:

   • Struktur Pokok Seimbang: Sebagai struktur data yang seimbang, pepohon AVL boleh menawarkan prestasi yang lebih baik untuk kes penggunaan tertentu yang memerlukan carian pantas dan pengisihan berbanding struktur data lalai Redis.

5. Peningkatan Fleksibiliti dan Penyesuaian:

   • Penyesuaian Lebih Hebat: Menggabungkan kedua-dua sistem membolehkan penyesuaian yang lebih meluas, membolehkan pembangunan penyelesaian yang lebih tepat dan khusus aplikasi.

Kelemahan:

1. Meningkatkan Kerumitan Seni Bina:

   • Mengurus Dua Sistem Caching: Secara serentak menggunakan Redis dan sistem caching berasaskan pokok AVL meningkatkan kerumitan seni bina dan memerlukan pengurusan yang diselaraskan antara kedua-dua sistem.

2. Peningkatan Overhed Masa:

   • Latensi Tambahan: Menambah lapisan caching tambahan mungkin menyebabkan kelewatan. Adalah penting untuk memastikan bahawa manfaat prestasi mengatasi kelewatan yang berpotensi ini.

3. Penyelenggaraan dan Penyegerakan Data:

   • Ketekalan Data: Mengekalkan konsistensi dan penyegerakan antara Redis dan pepohon AVL adalah penting untuk mengelakkan percanggahan data, yang memerlukan mekanisme penyegerakan yang kompleks.

4. Kos Pembangunan dan Penyelenggaraan yang Lebih Tinggi:

   • Peningkatan Perbelanjaan: Membangun dan menyelenggara dua sistem caching memerlukan lebih banyak sumber dan kepakaran yang pelbagai, yang berpotensi meningkatkan kos keseluruhan projek.

5. Kerumitan Keselamatan:

   • Menyelaraskan Dasar Keselamatan: Memastikan dasar keselamatan dilaksanakan dengan betul dan konsisten merentas kedua-dua sistem boleh menjadi mencabar.

---

Pelaksanaan Sistem Caching Menggunakan AVL Trees dan Redis

Di bawah, kami memperkenalkan pelaksanaan profesional sistem caching ini. Pelaksanaan ini termasuk pepohon AVL untuk mengurus data dengan keupayaan TTL dan Redis untuk penyimpanan data yang pantas.

1. Pokok AVL dengan TTL

Pertama, kami melaksanakan pokok AVL dengan keupayaan pengurusan TTL.

// src/utils/avltree.ts

export class AVLNode {
  key: string;
  value: any;
  ttl: number; // Expiration time in milliseconds
  height: number;
  left: AVLNode | null;
  right: AVLNode | null;

  constructor(key: string, value: any, ttl: number) {
    this.key = key;
    this.value = value;
    this.ttl = Date.now() + ttl;
    this.height = 1;
    this.left = null;
    this.right = null;
  }

  isExpired(): boolean {
    return Date.now() > this.ttl;
  }
}

export class AVLTree {
  private root: AVLNode | null;

  constructor() {
    this.root = null;
  }

  private getHeight(node: AVLNode | null): number {
    return node ? node.height : 0;
  }

  private updateHeight(node: AVLNode): void {
    node.height = 1 + Math.max(this.getHeight(node.left), this.getHeight(node.right));
  }

  private rotateRight(y: AVLNode): AVLNode {
    const x = y.left!;
    y.left = x.right;
    x.right = y;
    this.updateHeight(y);
    this.updateHeight(x);
    return x;
  }

  private rotateLeft(x: AVLNode): AVLNode {
    const y = x.right!;
    x.right = y.left;
    y.left = x;
    this.updateHeight(x);
    this.updateHeight(y);
    return y;
  }

  private getBalance(node: AVLNode): number {
    return node ? this.getHeight(node.left) - this.getHeight(node.right) : 0;
  }

  insert(key: string, value: any, ttl: number): void {
    this.root = this.insertNode(this.root, key, value, ttl);
  }

  private insertNode(node: AVLNode | null, key: string, value: any, ttl: number): AVLNode {
    if (!node) return new AVLNode(key, value, ttl);

    if (key  node.key) {
      node.right = this.insertNode(node.right, key, value, ttl);
    } else {
      node.value = value;
      node.ttl = Date.now() + ttl;
      return node;
    }

    this.updateHeight(node);
    const balance = this.getBalance(node);

    // Balancing the tree
    if (balance > 1 && key  node.right!.key) return this.rotateLeft(node);
    if (balance > 1 && key > node.left!.key) {
      node.left = this.rotateLeft(node.left!);
      return this.rotateRight(node);
    }
    if (balance  node.key) {
      node.right = this.deleteNode(node.right, key);
    } else {
      if (!node.left || !node.right) return node.left || node.right;
      let minLargerNode = node.right;
      while (minLargerNode.left) minLargerNode = minLargerNode.left;
      node.key = minLargerNode.key;
      node.value = minLargerNode.value;
      node.ttl = minLargerNode.ttl;
      node.right = this.deleteNode(node.right, minLargerNode.key);
    }

    this.updateHeight(node);
    const balance = this.getBalance(node);

    if (balance > 1 && this.getBalance(node.left!) >= 0) return this.rotateRight(node);
    if (balance  1 && this.getBalance(node.left!)  0) {
      node.right = this.rotateRight(node.right!);
      return this.rotateLeft(node);
    }

    return node;
  }
}

2. Perkhidmatan Cache (CacheService) dengan Integrasi Redis

Dalam bahagian ini, kami melaksanakan perkhidmatan cache yang menggunakan kedua-dua pepohon AVL dan Redis untuk pengurusan cache. Selain itu, kami menggabungkan mekanisme pengesahan token.

// src/cache/cache.service.ts

import { Injectable, UnauthorizedException, InternalServerErrorException } from '@nestjs/common';
import { AVLTree } from '../utils/avltree';
import { InjectRedis, Redis } from '@nestjs-modules/ioredis';

@Injectable()
export class CacheService {
  private avlTree: AVLTree;
  private authorizedTokens: Set<string> = new Set(['your_authorized_token']); // Authorized tokens

  constructor(@InjectRedis() private readonly redis: Redis) {
    this.avlTree = new AVLTree();
  }

  validateToken(token: string): void {
    if (!this.authorizedTokens.has(token)) {
      throw new UnauthorizedException('Invalid access token');
    }
  }

  async set(key: string, value: any, ttl: number, token: string): Promise<void> {
    this.validateToken(token);
    try {
      // Store in Redis
      await this.redis.set(key, JSON.stringify(value), 'PX', ttl);
      // Store in AVL Tree
      this.avlTree.insert(key, value, ttl);
    } catch (error) {
      throw new InternalServerErrorException('Failed to set cache');
    }
  }

  async get(key: string, token: string): Promise<any> {
    this.validateToken(token);
    try {
      // First, attempt to retrieve from Redis
      const redisValue = await this.redis.get(key);
      if (redisValue) {
        return JSON.parse(redisValue);
      }

      // If not found in Redis, retrieve from AVL Tree
      const avlValue = this.avlTree.search(key);
      if (avlValue) {
        // Re-store in Redis for faster access next time
        // Assuming the remaining TTL is maintained in AVL Tree
        // For simplicity, we set a new TTL
        const newTtl = 60000; // 60 seconds as an example
        await this.redis.set(key, JSON.stringify(avlValue), 'PX', newTtl);
        return avlValue;
      }

      return null;
    } catch (error) {
      throw new InternalServerErrorException('Failed to get cache');
    }
  }

  async delete(key: string, token: string): Promise<void> {
    this.validateToken(token);
    try {
      // Remove from Redis
      await this.redis.del(key);
      // Remove from AVL Tree
      this.avlTree.delete(key);
    } catch (error) {
      throw new InternalServerErrorException('Failed to delete cache');
    }
  }
}
</void></any></void></string>

3. Pengawal API (CacheController)

Pengawal menguruskan permintaan API kepada perkhidmatan cache.

// src/cache/cache.controller.ts

import { Controller, Get, Post, Delete, Body, Param, Query, HttpCode, HttpStatus } from '@nestjs/common';
import { CacheService } from './cache.service';

class SetCacheDto {
  key: string;
  value: any;
  ttl: number; // milliseconds
  token: string;
}

@Controller('cache')
export class CacheController {
  constructor(private readonly cacheService: CacheService) {}

  @Post('set')
  @HttpCode(HttpStatus.CREATED)
  async setCache(@Body() body: SetCacheDto) {
    await this.cacheService.set(body.key, body.value, body.ttl, body.token);
    return { message: 'Data cached successfully' };
  }

  @Get('get/:key')
  async getCache(@Param('key') key: string, @Query('token') token: string) {
    const value = await this.cacheService.get(key, token);
    return value ? { value } : { message: 'Key not found or expired' };
  }

  @Delete('delete/:key')
  @HttpCode(HttpStatus.NO_CONTENT)
  async deleteCache(@Param('key') key: string, @Query('token') token: string) {
    await this.cacheService.delete(key, token);
    return { message: 'Key deleted successfully' };
  }
}

4. Modul Cache (CacheModule)

Mentakrifkan modul cache yang menghubungkan perkhidmatan dan pengawal serta menyuntik Redis.

// src/cache/cache.module.ts

import { Module } from '@nestjs/common';
import { CacheService } from './cache.service';
import { CacheController } from './cache.controller';
import { RedisModule } from '@nestjs-modules/ioredis';

@Module({
  imports: [
    RedisModule.forRoot({
      config: {
        host: 'localhost',
        port: 6379,
        // Other Redis configurations
      },
    }),
  ],
  providers: [CacheService],
  controllers: [CacheController],
})
export class CacheModule {}

5. Konfigurasi Redis

Untuk menggunakan Redis dalam projek NestJS, kami menggunakan pakej @nestjs-modules/ioredis. Mula-mula, pasang pakej:

npm install @nestjs-modules/ioredis ioredis

Kemudian, konfigurasikan Redis dalam CacheModule seperti yang ditunjukkan di atas. Jika anda memerlukan konfigurasi yang lebih lanjut, anda boleh menggunakan fail konfigurasi yang berasingan.

6. Mekanisme Pengesahan Token

Untuk mengurus dan mengesahkan token, pelbagai strategi boleh digunakan. Dalam pelaksanaan mudah ini, token dikekalkan dalam set tetap. Untuk projek yang lebih besar, adalah disyorkan untuk menggunakan JWT (JSON Web Token) atau kaedah keselamatan lanjutan yang lain.

7. Pengendalian Ralat dan Pengesahan Input

Dalam pelaksanaan ini, kelas DTO (Data Transfer Object) digunakan untuk pengesahan input dan pengurusan ralat. Selain itu, perkhidmatan cache menggunakan pengendalian ralat umum untuk mengelakkan isu yang tidak dijangka.

8. Modul Aplikasi Utama (AppModule)

Akhir sekali, kami menambah modul cache pada modul aplikasi utama.

// src/utils/avltree.ts

export class AVLNode {
  key: string;
  value: any;
  ttl: number; // Expiration time in milliseconds
  height: number;
  left: AVLNode | null;
  right: AVLNode | null;

  constructor(key: string, value: any, ttl: number) {
    this.key = key;
    this.value = value;
    this.ttl = Date.now() + ttl;
    this.height = 1;
    this.left = null;
    this.right = null;
  }

  isExpired(): boolean {
    return Date.now() > this.ttl;
  }
}

export class AVLTree {
  private root: AVLNode | null;

  constructor() {
    this.root = null;
  }

  private getHeight(node: AVLNode | null): number {
    return node ? node.height : 0;
  }

  private updateHeight(node: AVLNode): void {
    node.height = 1 + Math.max(this.getHeight(node.left), this.getHeight(node.right));
  }

  private rotateRight(y: AVLNode): AVLNode {
    const x = y.left!;
    y.left = x.right;
    x.right = y;
    this.updateHeight(y);
    this.updateHeight(x);
    return x;
  }

  private rotateLeft(x: AVLNode): AVLNode {
    const y = x.right!;
    x.right = y.left;
    y.left = x;
    this.updateHeight(x);
    this.updateHeight(y);
    return y;
  }

  private getBalance(node: AVLNode): number {
    return node ? this.getHeight(node.left) - this.getHeight(node.right) : 0;
  }

  insert(key: string, value: any, ttl: number): void {
    this.root = this.insertNode(this.root, key, value, ttl);
  }

  private insertNode(node: AVLNode | null, key: string, value: any, ttl: number): AVLNode {
    if (!node) return new AVLNode(key, value, ttl);

    if (key  node.key) {
      node.right = this.insertNode(node.right, key, value, ttl);
    } else {
      node.value = value;
      node.ttl = Date.now() + ttl;
      return node;
    }

    this.updateHeight(node);
    const balance = this.getBalance(node);

    // Balancing the tree
    if (balance > 1 && key  node.right!.key) return this.rotateLeft(node);
    if (balance > 1 && key > node.left!.key) {
      node.left = this.rotateLeft(node.left!);
      return this.rotateRight(node);
    }
    if (balance  node.key) {
      node.right = this.deleteNode(node.right, key);
    } else {
      if (!node.left || !node.right) return node.left || node.right;
      let minLargerNode = node.right;
      while (minLargerNode.left) minLargerNode = minLargerNode.left;
      node.key = minLargerNode.key;
      node.value = minLargerNode.value;
      node.ttl = minLargerNode.ttl;
      node.right = this.deleteNode(node.right, minLargerNode.key);
    }

    this.updateHeight(node);
    const balance = this.getBalance(node);

    if (balance > 1 && this.getBalance(node.left!) >= 0) return this.rotateRight(node);
    if (balance  1 && this.getBalance(node.left!)  0) {
      node.right = this.rotateRight(node.right!);
      return this.rotateLeft(node);
    }

    return node;
  }
}

9. Fail Permohonan Utama (main.ts)

Fail aplikasi utama yang bootstrap NestJS.

// src/cache/cache.service.ts

import { Injectable, UnauthorizedException, InternalServerErrorException } from '@nestjs/common';
import { AVLTree } from '../utils/avltree';
import { InjectRedis, Redis } from '@nestjs-modules/ioredis';

@Injectable()
export class CacheService {
  private avlTree: AVLTree;
  private authorizedTokens: Set<string> = new Set(['your_authorized_token']); // Authorized tokens

  constructor(@InjectRedis() private readonly redis: Redis) {
    this.avlTree = new AVLTree();
  }

  validateToken(token: string): void {
    if (!this.authorizedTokens.has(token)) {
      throw new UnauthorizedException('Invalid access token');
    }
  }

  async set(key: string, value: any, ttl: number, token: string): Promise<void> {
    this.validateToken(token);
    try {
      // Store in Redis
      await this.redis.set(key, JSON.stringify(value), 'PX', ttl);
      // Store in AVL Tree
      this.avlTree.insert(key, value, ttl);
    } catch (error) {
      throw new InternalServerErrorException('Failed to set cache');
    }
  }

  async get(key: string, token: string): Promise<any> {
    this.validateToken(token);
    try {
      // First, attempt to retrieve from Redis
      const redisValue = await this.redis.get(key);
      if (redisValue) {
        return JSON.parse(redisValue);
      }

      // If not found in Redis, retrieve from AVL Tree
      const avlValue = this.avlTree.search(key);
      if (avlValue) {
        // Re-store in Redis for faster access next time
        // Assuming the remaining TTL is maintained in AVL Tree
        // For simplicity, we set a new TTL
        const newTtl = 60000; // 60 seconds as an example
        await this.redis.set(key, JSON.stringify(avlValue), 'PX', newTtl);
        return avlValue;
      }

      return null;
    } catch (error) {
      throw new InternalServerErrorException('Failed to get cache');
    }
  }

  async delete(key: string, token: string): Promise<void> {
    this.validateToken(token);
    try {
      // Remove from Redis
      await this.redis.del(key);
      // Remove from AVL Tree
      this.avlTree.delete(key);
    } catch (error) {
      throw new InternalServerErrorException('Failed to delete cache');
    }
  }
}
</void></any></void></string>

10. Menguji dan Menjalankan Aplikasi

Selepas melaksanakan semua komponen, anda boleh menjalankan aplikasi untuk memastikan kefungsiannya.

// src/cache/cache.controller.ts

import { Controller, Get, Post, Delete, Body, Param, Query, HttpCode, HttpStatus } from '@nestjs/common';
import { CacheService } from './cache.service';

class SetCacheDto {
  key: string;
  value: any;
  ttl: number; // milliseconds
  token: string;
}

@Controller('cache')
export class CacheController {
  constructor(private readonly cacheService: CacheService) {}

  @Post('set')
  @HttpCode(HttpStatus.CREATED)
  async setCache(@Body() body: SetCacheDto) {
    await this.cacheService.set(body.key, body.value, body.ttl, body.token);
    return { message: 'Data cached successfully' };
  }

  @Get('get/:key')
  async getCache(@Param('key') key: string, @Query('token') token: string) {
    const value = await this.cacheService.get(key, token);
    return value ? { value } : { message: 'Key not found or expired' };
  }

  @Delete('delete/:key')
  @HttpCode(HttpStatus.NO_CONTENT)
  async deleteCache(@Param('key') key: string, @Query('token') token: string) {
    await this.cacheService.delete(key, token);
    return { message: 'Key deleted successfully' };
  }
}

11. Permintaan Contoh

Tetapkan Cache:

// src/cache/cache.module.ts

import { Module } from '@nestjs/common';
import { CacheService } from './cache.service';
import { CacheController } from './cache.controller';
import { RedisModule } from '@nestjs-modules/ioredis';

@Module({
  imports: [
    RedisModule.forRoot({
      config: {
        host: 'localhost',
        port: 6379,
        // Other Redis configurations
      },
    }),
  ],
  providers: [CacheService],
  controllers: [CacheController],
})
export class CacheModule {}

Dapatkan Cache:

npm install @nestjs-modules/ioredis ioredis

Padam Cache:

// src/app.module.ts

import { Module } from '@nestjs/common';
import { CacheModule } from './cache/cache.module';

@Module({
  imports: [CacheModule],
  controllers: [],
  providers: [],
})
export class AppModule {}

---

Kes Penggunaan yang Sesuai untuk Menggabungkan Sistem Caching Berasaskan Pokok AVL dan Redis

1. Sistem Perbankan dan Kewangan:

   • Mengurus Sesi dan Transaksi Sensitif: Keselamatan yang tinggi dan pengurusan TTL yang tepat adalah penting untuk data kewangan yang sensitif. Menggabungkan keselamatan token dan pengurusan TTL pintar sangat bermanfaat dalam domain ini.

2. Platform E-dagang Trafik Tinggi:

   • Menyimpan Data Produk dan Mengurus Troli Beli-belah: Mengoptimumkan memori dan meningkatkan kelajuan akses data adalah penting untuk meningkatkan pengalaman pengguna di kedai dalam talian yang besar seperti Amazon.

3. Aplikasi Pemesejan dan Rangkaian Sosial:

   • Menyimpan Status Pengguna Masa Nyata: Akses pantas dan pengurusan data yang tepat diperlukan untuk memaparkan status dan mesej dalam talian/luar talian pengguna.

4. Aplikasi Cuaca dan Pertukaran Mata Wang:

   • Caching API untuk Mengurangkan Beban Permintaan: Menyimpan hasil pengiraan kompleks dan data langsung dengan pengurusan tamat tempoh yang tepat untuk memberikan maklumat terkini dan pantas kepada pengguna.

5. Sistem Pengurusan Kandungan dan Platform Media:

   • Caching Halaman dan Kandungan Trafik Tinggi: Mengoptimumkan akses kepada kandungan yang dilihat tinggi dan mengurangkan beban pelayan untuk memberikan pengalaman pengguna yang lebih lancar.

6. Aplikasi Analisis dan Papan Pemuka Masa Nyata:

   • Menyimpan Keputusan Analisis Segera: Menyediakan data analisis yang pantas dan terkini menggunakan berbilang cache untuk meningkatkan prestasi dan ketepatan keputusan.

---

Kesimpulan

Dalam artikel ini, kami melaksanakan sistem caching lanjutan menggunakan pepohon AVL dan Redis dalam rangka kerja NestJS. Sistem ini, menawarkan pengurusan TTL lanjutan, keselamatan berasaskan token, dan integrasi Redis, menyediakan penyelesaian yang teguh dan fleksibel untuk aplikasi permintaan tinggi. Gabungan kedua-dua teknologi ini memanfaatkan kekuatan kedua-duanya, menangani kelemahan Redis dan meningkatkan prestasi caching keseluruhan.

Atas ialah kandungan terperinci Meningkatkan Kelajuan dan Prestasi dengan Caching Lanjutan dalam NestJS: Cara Menggunakan AVL Trees dan Redis. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!