异步操作中的并发控制与资源管理

在Node.js异步I/O编程中，并发控制与资源管理是性能调优的核心环节。本文将通过实际代码示例展示如何有效管理并发数，避免资源耗尽。

并发控制实现

1. 使用Promise队列控制并发

const axios = require('axios');

// 并发控制类
class ConcurrencyController {
  constructor(maxConcurrent = 5) {
    this.maxConcurrent = maxConcurrent;
    this.currentRunning = 0;
    this.queue = [];
  }
  
  async execute(task) {
    return new Promise((resolve, reject) => {
      this.queue.push({ task, resolve, reject });
      this.process();
    });
  }
  
  async process() {
    if (this.currentRunning >= this.maxConcurrent || this.queue.length === 0) {
      return;
    }
    
    const { task, resolve, reject } = this.queue.shift();
    this.currentRunning++;
    
    try {
      const result = await task();
      resolve(result);
    } catch (error) {
      reject(error);
    } finally {
      this.currentRunning--;
      this.process(); // 处理队列中的下一个任务
    }
  }
}

// 使用示例
const controller = new ConcurrencyController(3); // 最大并发数3

async function fetchData(url) {
  return axios.get(url);
}

const urls = Array.from({ length: 10 }, (_, i) => `https://jsonplaceholder.typicode.com/posts/${i + 1}`);

async function testConcurrency() {
  const startTime = Date.now();
  
  const promises = urls.map(url => 
    controller.execute(() => fetchData(url))
  );
  
  await Promise.all(promises);
  const endTime = Date.now();
  console.log(`总耗时: ${endTime - startTime}ms`);
}

// testConcurrency();

2. 使用p-limit库优化

const pLimit = require('p-limit');
const axios = require('axios');

// 创建限制并发数的函数
const limit = pLimit(5); // 最大并发5

async function fetchWithLimit(url) {
  return axios.get(url);
}

async function testWithPLimit() {
  const startTime = Date.now();
  
  const promises = urls.map(url => 
    limit(() => fetchWithLimit(url))
  );
  
  await Promise.all(promises);
  const endTime = Date.now();
  console.log(`p-limit耗时: ${endTime - startTime}ms`);
}

性能测试数据

在10个并发请求的测试中，不同方案性能对比：

通过测试发现，合理控制并发数能显著提升系统稳定性，避免因过多并发导致的资源耗尽问题。建议在生产环境中将并发数控制在CPU核心数的2-4倍范围内。