数据中心架构
概述
钱龙数据中心是为金融数据提供存储、计算、分发的基础设施平台,涵盖行情数据、F10 数据、复权数据等核心金融数据的处理与服务体系。
整体架构规划
架构规划文档
- 文件:
E:\钱龙\数据中心\钱龙数据中心整体架构规划文档_V1.2.docx - 内容: 数据中心整体架构设计、系统分层、组件关系、数据流转路径
数据平台技术方案
- 文件:
E:\钱龙\数据中心\数据平台技术方案.docx - 内容: 数据平台的技术选型、ETL 处理流程、数据存储方案、查询接口设计
核心架构层级
┌─────────────────────────────────────────────────┐
│ 数据接入层 │
│ 行情源接入 / F10 数据采集 / 第三方数据源 │
├─────────────────────────────────────────────────┤
│ 数据存储层 │
│ ClickHouse (实时行情) / Oracle (历史数据) │
│ MySQL (业务数据) / 分布式文件系统 │
├─────────────────────────────────────────────────┤
│ 数据计算层 │
│ 复权计算 / 指标计算 / 数据清洗 / ETL 处理 │
├─────────────────────────────────────────────────┤
│ 数据服务层 │
│ RESTful API / 行情推送 / 数据订阅 / 黄金眼 │
├─────────────────────────────────────────────────┤
│ 数据应用层 │
│ 智能资讯 / 客户端行情 / F10 查询 / 量化策略 │
└─────────────────────────────────────────────────┘
硬件规划
硬件规划文档
- 文件:
E:\钱龙\数据中心\数据平台技术硬件规划方案.docx - 内容: 服务器硬件配置、网络规划、存储方案、集群部署设计
硬件及程序清单
- 文件:
E:\钱龙\数据中心\数据中心硬件及程序清单.docx - 内容: 详细硬件清单、配套程序列表、部署节点映射
深度优化建议
- 文件:
E:\钱龙\数据中心\深度优化及程序清单落实建议.docx - 内容: 现有系统优化建议、程序清单落实方案、性能调优
第 1 期交付设计
交付文档
- 文件:
E:\钱龙\数据中心\第1期交付设计_v0.96.docx - 文件:
E:\钱龙\数据中心\第1期交付设计_v0.96.pdf
交付范围
第 1 期交付覆盖以下核心功能模块:
- 行情数据接入与存储
- 沪深 L1/L2 实时行情接入
- 周边市场行情接入
- ClickHouse 集群部署与数据持久化
- F10 数据服务
- 财务分析、分红扩股、公司概况、股东研究
- 高层治理、公司大事、股本股改、经营分析
- 龙讯统计、新闻报道、重要事项、主力追踪等
- 复权数据计算
- 股票复权计算(比例复权、复杂复权)
- 基金复权计算(净值复权、行情复权)
- 可转债复权计算
- 期货主力与连续合约复权计算
F10 相关表
文件: E:\钱龙\数据中心\F10相关表.txt
F10 模块涉及的主要数据表(Oracle 数据库):
| 功能模块 | 涉及表 |
|---|---|
| 财务分析 | TSTK060, TPCOM026, TPCOM021, TSTK035, T_STK037 等 |
| 分红扩股 | TPUB001, TPUB010, TSTK016, TSTK020, T_STK024 等 20+ 表 |
| 高层治理 | TSTK053, TSTK052, TSTK051, TSTK161 等 |
| 公司大事 | TBULLETININDEX, TPUB010, TBULLETIN_INFO |
| 公司概况 | TPUB010, TSTK024, TPCOM026, TPCOM020 等 15+ 表 |
| 股本股改 | TSTK115, TSTK035, TREF012, TXSGF |
| 股东研究 | TSTK030, TSTK214, TSTK036, TSTK032 等 |
| 行业分析 | TSTK005, TREF020, TBLOCK01, TNEWS_INDEX 等 |
| 交易异动 | TPUB010, TFINGROWS004, T_STK217 等 |
| 经营分析 | TSTK039, TPCOM026, TP_COM029 等 |
| 龙讯统计 | TPCOM001, TSTK060, TSTK107~T_STK125 等 20+ 表 |
| 新闻报道 | TNEWSINDEX, TNEWSINDUSTRY, TNEWSINFO |
| 主力追踪 | TPUB010, TSTK030, TSTK032, TFUND11 等 |
| 最新简况 | TPUB001, TSTK060, T_STK020 等 40+ 表 |
黄金眼数据服务架构部署
部署文档
- 文件:
E:\钱龙\数据中心\黄金眼数据服务 架构部署说明.docx
架构概述
黄金眼数据服务是钱龙面向高端用户提供的深度行情数据服务,架构部署包括:
- 数据采集层
- 交易所行情源接入
- 实时行情数据解析与清洗
- 多源数据融合
- 数据缓存层
- 黄金眼 Cache 服务器
- 沪深 L2 行情数据缓存
- 高性能内存数据管理
- 数据分发层
- 行情数据推送服务
- 客户端订阅管理
- 鉴权与权限控制
- 监控与管理
- 服务运行状态监控
- 数据延迟监控
- 异常告警与恢复
复权数据计算
计算样例文件
目录 E:\钱龙\数据中心\复权数据计算\ 包含以下复权计算手算验证文件:
| 文件 | 说明 |
|---|---|
| 股票比例复权手算.xlsx | 股票比例复权计算方法验证 |
| 股票复杂复权手算.xlsx | 股票复杂复权(考虑股改)计算方法 |
| 股票比例复权手算(考虑股改).xlsx | 含股改因素的复权计算 |
| 基金比例复权手算(行情数据).xlsx | 基金比例复权(基于行情数据) |
| 基金复杂复权手算(净值).xlsx | 基金复杂复权(基于净值数据) |
| 可转债比例复权手算.xlsx | 可转债比例复权计算 |
| 可转债复杂复权手算.xlsx | 可转债复杂复权计算 |
| 期货主力与连续合约比例复权手算.xlsx | 期货比例复权 |
| 期货主力与连续合约复杂复权手算.xlsx | 期货复杂复权 |
源文件清单
| 文件 | 路径 |
|---|---|
| 钱龙数据中心整体架构规划文档_V1.2.docx | E:\钱龙\数据中心\钱龙数据中心整体架构规划文档_V1.2.docx |
| 数据平台技术方案.docx | E:\钱龙\数据中心\数据平台技术方案.docx |
| 数据平台技术硬件规划方案.docx | E:\钱龙\数据中心\数据平台技术硬件规划方案.docx |
| 第1期交付设计_v0.96.docx / .pdf | E:\钱龙\数据中心\第1期交付设计_v0.96.docx |
| 黄金眼数据服务 架构部署说明.docx | E:\钱龙\数据中心\黄金眼数据服务 架构部署说明.docx |
| 数据中心硬件及程序清单.docx | E:\钱龙\数据中心\数据中心硬件及程序清单.docx |
| 深度优化及程序清单落实建议.docx | E:\钱龙\数据中心\深度优化及程序清单落实建议.docx |
| 数据报价明细.xlsx | E:\钱龙\数据中心\数据报价明细.xlsx |
| F10相关表.txt | E:\钱龙\数据中心\F10相关表.txt |
| 复权计算样例文件 | E:\钱龙\数据中心\复权数据计算\ (9 个 Excel 文件) |