daily_stock_analysis/docs/cache_update_strategy.md

# 缓存更新策略

## 一、概述

缓存更新策略是保证缓存数据与数据源数据一致性的关键。本策略定义了股票分析系统中各类数据的缓存更新机制，包括实时行情、K线数据、板块动量等数据的更新频率、方式和流程。

## 二、数据分类

根据数据的特性和更新频率，将数据分为以下几类：

| 数据类型 | 更新频率 | 数据源 | 缓存策略 |
|---------|---------|---------|---------|
| 实时行情 | 高频（30秒/次） | 东方财富/新浪/腾讯 | 主动更新 + 惰性更新 |
| K线数据 | 低频（每日/次） | 东方财富/新浪/腾讯 | 定时更新 + 按需更新 |
| 板块动量 | 中频（1小时/次） | 计算生成 | 定时更新 |
| 市场统计 | 中频（1小时/次） | 计算生成 | 定时更新 |
| 股票基本信息 | 低频（每周/次） | 数据源 | 定时更新 |
| 板块信息 | 低频（每周/次） | 数据源 | 定时更新 |

## 三、缓存更新策略

### 1. 实时行情更新策略

#### 更新频率
- **全市场数据**：每30秒更新一次
- **单只股票**：按需更新（缓存未命中时）

#### 更新流程
1. **定时任务**：每30秒执行一次
2. **数据获取**：调用数据源API获取全市场实时行情
3. **数据处理**：
   - 解析API返回数据
   - 标准化数据格式
   - 计算涨跌幅、换手率等指标
4. **缓存更新**：
   - 更新全市场缓存：`realtime:full`
   - 批量更新单只股票缓存：`realtime:stock:{code}`
   - 更新ETF缓存：`realtime:etf:{code}`
   - 记录更新批次：`realtime:batch`
5. **数据库更新**：异步批量写入数据库

#### 缓存失效处理
- **时间过期**：设置30分钟过期时间
- **主动失效**：数据更新时覆盖旧数据
- **降级策略**：缓存过期后，请求时触发更新

### 2. K线数据更新策略

#### 更新频率
- **历史数据**：每日收盘后更新
- **最近数据**：按需更新（缓存未命中时）

#### 更新流程
1. **定时任务**：每日收盘后执行
2. **数据获取**：
   - 调用数据源API获取当日K线数据
   - 对于新上市股票，获取完整历史数据
3. **数据处理**：
   - 标准化数据格式
   - 计算技术指标
4. **缓存更新**：
   - 更新K线缓存：`kline:{code}:{period}:{days}`
   - 更新压缩K线缓存：`kline:compressed:{code}:{period}:{days}`
5. **数据库更新**：批量写入数据库

#### 缓存失效处理
- **时间过期**：设置1天过期时间
- **主动失效**：每日更新时覆盖旧数据
- **按需更新**：缓存未命中时触发更新

### 3. 板块动量更新策略

#### 更新频率
- **常规更新**：每小时更新一次
- **特殊情况**：市场剧烈波动时增加更新频率

#### 更新流程
1. **定时任务**：每小时执行一次
2. **数据获取**：
   - 从缓存或数据库获取实时行情
   - 获取板块成分股信息
3. **计算过程**：
   - 按涨跌幅排序，取前16%作为动量个股
   - 按板块分组，计算每个板块的动量值
   - 计算动量值变化、排名变化
4. **缓存更新**：
   - 更新板块动量缓存：`sector:momentum:{period}:{sort}:{order}:{limit}`
   - 更新板块成分股缓存：`sector:stocks:{sector_code}`
5. **数据库更新**：写入板块动量表

#### 缓存失效处理
- **时间过期**：设置1小时过期时间
- **主动失效**：更新时覆盖旧数据
- **降级策略**：缓存过期后，请求时触发更新

### 4. 市场统计更新策略

#### 更新频率
- **常规更新**：每小时更新一次
- **特殊情况**：市场开盘和收盘时增加更新频率

#### 更新流程
1. **定时任务**：每小时执行一次
2. **数据获取**：
   - 从缓存或数据库获取实时行情
   - 统计市场涨跌分布
3. **计算过程**：
   - 统计上涨、下跌、平盘家数
   - 统计涨停、跌停家数
   - 计算两市成交额
4. **缓存更新**：
   - 更新市场统计缓存：`market:stats`
   - 更新涨跌分布缓存：`market:distribution`
5. **数据库更新**：写入市场统计表

#### 缓存失效处理
- **时间过期**：设置1小时过期时间
- **主动失效**：更新时覆盖旧数据
- **降级策略**：缓存过期后，请求时触发更新

### 5. 股票基本信息更新策略

#### 更新频率
- **常规更新**：每周更新一次
- **特殊情况**：新股上市、股票退市时即时更新

#### 更新流程
1. **定时任务**：每周执行一次
2. **数据获取**：
   - 调用数据源API获取股票基本信息
   - 处理新股上市、股票退市等情况
3. **数据处理**：
   - 标准化数据格式
   - 关联板块信息
4. **缓存更新**：
   - 更新股票基本信息缓存
   - 更新板块成分股缓存
5. **数据库更新**：批量写入数据库

#### 缓存失效处理
- **时间过期**：设置7天过期时间
- **主动失效**：更新时覆盖旧数据
- **按需更新**：缓存未命中时触发更新

### 6. 板块信息更新策略

#### 更新频率
- **常规更新**：每周更新一次
- **特殊情况**：板块调整时即时更新

#### 更新流程
1. **定时任务**：每周执行一次
2. **数据获取**：
   - 调用数据源API获取板块信息
   - 处理板块调整情况
3. **数据处理**：
   - 标准化数据格式
   - 计算板块成分股数量
4. **缓存更新**：
   - 更新板块基本信息缓存：`sector:info:{sector_code}`
   - 更新板块成分股缓存：`sector:stocks:{sector_code}`
5. **数据库更新**：批量写入数据库

#### 缓存失效处理
- **时间过期**：设置7天过期时间
- **主动失效**：更新时覆盖旧数据
- **按需更新**：缓存未命中时触发更新

## 四、缓存预热策略

### 1. 服务启动预热

- **预热数据**：
  - 热门股票实时行情
  - 主要指数数据
  - 最近的板块动量数据
  - 市场统计数据
- **预热流程**：
  1. 服务启动时触发
  2. 并行获取各类数据
  3. 写入Redis缓存
  4. 记录预热完成时间

### 2. 定时预热

- **预热频率**：每小时执行一次
- **预热数据**：
  - 即将到期的缓存
  - 预测可能会被访问的数据
  - 计算密集型数据
- **预热流程**：
  1. 定时任务触发
  2. 分析缓存使用情况
  3. 预测热门数据
  4. 提前计算并缓存

### 3. 智能预热

- **基于访问模式**：
  - 分析历史访问记录
  - 预测未来访问模式
  - 提前缓存可能被访问的数据
- **基于市场事件**：
  - 市场开盘前预热
  - 重大新闻发布后预热
  - 财报季预热相关股票数据

## 五、缓存一致性保障

### 1. 数据一致性策略

- **最终一致性**：
  - 优先保证系统可用性
  - 允许短暂的数据不一致
  - 通过定期同步保证最终一致
- **强一致性**：
  - 对关键数据采用强一致性
  - 使用分布式锁确保数据一致性
  - 双写模式：同时更新数据库和缓存

### 2. 一致性实现

- **先更新数据库，后更新缓存**：
  1. 开始事务
  2. 更新数据库
  3. 提交事务
  4. 更新缓存
  5. 释放锁
- **缓存标记失效**：
  1. 更新数据库
  2. 标记缓存失效
  3. 下次读取时更新缓存
- **定期全量同步**：
  - 每日执行全量同步
  - 验证缓存与数据库一致性
  - 修复不一致数据

### 3. 并发控制

- **分布式锁**：
  - 使用Redis实现分布式锁
  - 避免并发更新导致的数据不一致
- **乐观锁**：
  - 使用版本号或时间戳
  - 检测并发冲突
- **队列处理**：
  - 将更新操作放入队列
  - 串行处理确保顺序

## 六、缓存监控与告警

### 1. 监控指标

| 指标 | 描述 | 阈值 | 告警级别 |
|------|------|------|---------|
| 缓存命中率 | 缓存命中次数/总请求次数 | <80% | 警告 |
| 缓存更新延迟 | 数据更新到缓存的延迟 | >5秒 | 警告 |
| 缓存过期率 | 过期缓存占比 | >50% | 警告 |
| 缓存写入失败率 | 缓存写入失败次数/总写入次数 | >1% | 严重 |
| 缓存读取失败率 | 缓存读取失败次数/总读取次数 | >1% | 严重 |

### 2. 告警策略

- **缓存命中率低**：
  - 检查缓存策略是否合理
  - 增加缓存预热
  - 调整缓存过期时间
- **缓存更新延迟高**：
  - 检查数据源API响应时间
  - 优化数据处理逻辑
  - 增加更新线程数
- **缓存写入失败**：
  - 检查Redis连接状态
  - 检查Redis内存使用情况
  - 重启Redis服务
- **缓存读取失败**：
  - 检查Redis连接状态
  - 检查网络连接
  - 降级到数据库读取

### 3. 监控工具

- **Prometheus**：收集缓存相关指标
- **Grafana**：可视化缓存监控面板
- **Redis Exporter**：导出Redis指标
- **Alertmanager**：处理告警

## 七、异常处理

### 1. 数据源异常

- **处理策略**：
  - 切换到备用数据源
  - 使用缓存数据作为降级方案
  - 记录异常并告警
- **恢复策略**：
  - 定期检查数据源状态
  - 自动恢复到主数据源
  - 验证数据一致性

### 2. Redis异常

- **处理策略**：
  - 降级到数据库读取
  - 记录异常并告警
  - 尝试重新连接
- **恢复策略**：
  - 监控Redis状态
  - 自动恢复缓存
  - 验证数据一致性

### 3. 数据库异常

- **处理策略**：
  - 继续使用缓存数据
  - 记录异常并告警
  - 尝试重新连接
- **恢复策略**：
  - 监控数据库状态
  - 自动恢复数据同步
  - 验证数据一致性

## 八、性能优化

### 1. 批量操作

- **批量读取**：
  - 使用MGET、HMGET等批量命令
  - 减少网络往返次数
- **批量写入**：
  - 使用Pipeline批量执行命令
  - 减少网络开销

### 2. 数据压缩

- **K线数据**：
  - 使用MsgPack或Protocol Buffers压缩
  - 减少存储空间和网络传输
- **全量实时数据**：
  - 使用GZIP压缩
  - 减少内存使用

### 3. 并发处理

- **多线程更新**：
  - 使用线程池并行处理数据
  - 提高更新效率
- **异步更新**：
  - 使用消息队列异步处理
  - 避免阻塞主线程

### 4. 缓存分层

- **热点数据**：
  - 存储在Redis中
  - 高频访问
- **冷数据**：
  - 存储在数据库中
  - 低频访问
- **预热数据**：
  - 提前计算并缓存
  - 减少请求时计算开销

## 九、总结

缓存更新策略是保证股票分析系统性能和数据一致性的关键。通过合理的更新频率、流程和监控，可以确保缓存数据的及时性和准确性，同时提高系统的响应速度和可靠性。

本策略采用了多种技术手段，包括定时更新、按需更新、缓存预热、一致性保障等，以应对不同类型数据的更新需求。同时，通过监控和异常处理，确保系统在面对各种异常情况时能够稳定运行。

随着系统的发展和数据量的增长，缓存更新策略也需要不断优化和调整，以适应新的业务需求和技术挑战。