多线程程序的错误恢复机制

在多线程程序中，错误恢复机制是保证系统稳定性的关键。本文将通过一个典型的生产者-消费者模型来演示如何构建健壮的错误恢复机制。

问题场景

假设我们有一个日志处理系统，多个工作线程从队列中消费日志数据并写入文件。当某个线程在处理过程中遇到文件权限错误或磁盘空间不足时，整个系统应该能够优雅地恢复而非崩溃。

核心设计模式

// 错误恢复的生产者-消费者模型
struct LogProcessor {
    std::queue<std::string> log_queue;
    std::mutex queue_mutex;
    std::condition_variable cv;
    std::atomic<bool> shutdown_flag{false};
    
    void worker_thread() {
        while (!shutdown_flag.load()) {
            std::string log_entry;
            {
                std::unique_lock<std::mutex> lock(queue_mutex);
                cv.wait(lock, [this] { return !log_queue.empty() || shutdown_flag.load(); });
                if (shutdown_flag.load() && log_queue.empty()) break;
                log_entry = std::move(log_queue.front());
                log_queue.pop();
            }
            
            // 错误恢复机制
            try {
                process_log_entry(log_entry);
            } catch (const std::exception& e) {
                // 记录错误并尝试恢复
                handle_error(e, log_entry);
                // 将失败的任务重新入队或写入错误队列
                retry_or_discard(log_entry);
            }
        }
    }
    
private:
    void process_log_entry(const std::string& entry) {
        // 模拟可能失败的操作
        if (should_fail(entry)) {
            throw std::runtime_error("File access error");
        }
        // 正常处理逻辑
    }
    
    void handle_error(const std::exception& e, const std::string& entry) {
        std::cerr << "Error processing log: " << e.what() << std::endl;
        // 可以记录到错误日志或发送告警
    }
    
    void retry_or_discard(const std::string& entry) {
        // 实现重试机制或丢弃策略
        static int retry_count = 0;
        if (retry_count++ < MAX_RETRY) {
            // 重新入队处理
            std::lock_guard<std::mutex> lock(queue_mutex);
            log_queue.push(entry);
            cv.notify_one();
        } else {
            // 超过重试次数，丢弃任务
            std::cerr << "Dropping log entry after max retries" << std::endl;
        }
    }
};

可复用的恢复策略

1. 降级处理：当核心功能失败时，切换到简化版本
2. 重试机制：对临时性错误进行有限次数的重试
3. 隔离机制：失败的任务隔离，避免影响其他正常任务
4. 监控告警：及时发现并上报系统异常

性能考量

错误恢复机制不应成为性能瓶颈。建议使用异步错误处理、连接池、以及合理的超时控制来保证系统响应性。通过合理设置重试间隔和最大重试次数，可以在保证可靠性的同时避免资源浪费。