数据中心架构

📑 目录
  1. 概述
  2. 整体架构规划
  3. 硬件规划
  4. 第 1 期交付设计
  5. 黄金眼数据服务架构部署
  6. 复权数据计算
  7. 源文件清单

数据中心架构

概述

钱龙数据中心是为金融数据提供存储、计算、分发的基础设施平台,涵盖行情数据、F10 数据、复权数据等核心金融数据的处理与服务体系。


整体架构规划

架构规划文档

  • 文件: E:\钱龙\数据中心\钱龙数据中心整体架构规划文档_V1.2.docx
  • 内容: 数据中心整体架构设计、系统分层、组件关系、数据流转路径

数据平台技术方案

  • 文件: E:\钱龙\数据中心\数据平台技术方案.docx
  • 内容: 数据平台的技术选型、ETL 处理流程、数据存储方案、查询接口设计

核心架构层级

┌─────────────────────────────────────────────────┐
│                  数据接入层                       │
│  行情源接入  /  F10 数据采集  /  第三方数据源    │
├─────────────────────────────────────────────────┤
│                  数据存储层                       │
│  ClickHouse (实时行情)  /  Oracle (历史数据)      │
│  MySQL (业务数据)  /  分布式文件系统              │
├─────────────────────────────────────────────────┤
│                  数据计算层                       │
│  复权计算  /  指标计算  /  数据清洗  /  ETL 处理  │
├─────────────────────────────────────────────────┤
│                  数据服务层                       │
│  RESTful API  /  行情推送  /  数据订阅  /  黄金眼  │
├─────────────────────────────────────────────────┤
│                  数据应用层                       │
│  智能资讯  /  客户端行情  /  F10 查询  /  量化策略 │
└─────────────────────────────────────────────────┘

硬件规划

硬件规划文档

  • 文件: E:\钱龙\数据中心\数据平台技术硬件规划方案.docx
  • 内容: 服务器硬件配置、网络规划、存储方案、集群部署设计

硬件及程序清单

  • 文件: E:\钱龙\数据中心\数据中心硬件及程序清单.docx
  • 内容: 详细硬件清单、配套程序列表、部署节点映射

深度优化建议

  • 文件: E:\钱龙\数据中心\深度优化及程序清单落实建议.docx
  • 内容: 现有系统优化建议、程序清单落实方案、性能调优

第 1 期交付设计

交付文档

  • 文件: E:\钱龙\数据中心\第1期交付设计_v0.96.docx
  • 文件: E:\钱龙\数据中心\第1期交付设计_v0.96.pdf

交付范围

第 1 期交付覆盖以下核心功能模块:

  1. 行情数据接入与存储
  • 沪深 L1/L2 实时行情接入
  • 周边市场行情接入
  • ClickHouse 集群部署与数据持久化
  1. F10 数据服务
  • 财务分析、分红扩股、公司概况、股东研究
  • 高层治理、公司大事、股本股改、经营分析
  • 龙讯统计、新闻报道、重要事项、主力追踪等
  1. 复权数据计算
  • 股票复权计算(比例复权、复杂复权)
  • 基金复权计算(净值复权、行情复权)
  • 可转债复权计算
  • 期货主力与连续合约复权计算

F10 相关表

文件: E:\钱龙\数据中心\F10相关表.txt

F10 模块涉及的主要数据表(Oracle 数据库):

功能模块涉及表
财务分析TSTK060, TPCOM026, TPCOM021, TSTK035, T_STK037 等
分红扩股TPUB001, TPUB010, TSTK016, TSTK020, T_STK024 等 20+ 表
高层治理TSTK053, TSTK052, TSTK051, TSTK161 等
公司大事TBULLETININDEX, TPUB010, TBULLETIN_INFO
公司概况TPUB010, TSTK024, TPCOM026, TPCOM020 等 15+ 表
股本股改TSTK115, TSTK035, TREF012, TXSGF
股东研究TSTK030, TSTK214, TSTK036, TSTK032 等
行业分析TSTK005, TREF020, TBLOCK01, TNEWS_INDEX 等
交易异动TPUB010, TFINGROWS004, T_STK217 等
经营分析TSTK039, TPCOM026, TP_COM029 等
龙讯统计TPCOM001, TSTK060, TSTK107~T_STK125 等 20+ 表
新闻报道TNEWSINDEX, TNEWSINDUSTRY, TNEWSINFO
主力追踪TPUB010, TSTK030, TSTK032, TFUND11 等
最新简况TPUB001, TSTK060, T_STK020 等 40+ 表

黄金眼数据服务架构部署

部署文档

  • 文件: E:\钱龙\数据中心\黄金眼数据服务 架构部署说明.docx

架构概述

黄金眼数据服务是钱龙面向高端用户提供的深度行情数据服务,架构部署包括:

  1. 数据采集层
  • 交易所行情源接入
  • 实时行情数据解析与清洗
  • 多源数据融合
  1. 数据缓存层
  • 黄金眼 Cache 服务器
  • 沪深 L2 行情数据缓存
  • 高性能内存数据管理
  1. 数据分发层
  • 行情数据推送服务
  • 客户端订阅管理
  • 鉴权与权限控制
  1. 监控与管理
  • 服务运行状态监控
  • 数据延迟监控
  • 异常告警与恢复

复权数据计算

计算样例文件

目录 E:\钱龙\数据中心\复权数据计算\ 包含以下复权计算手算验证文件:

文件说明
股票比例复权手算.xlsx股票比例复权计算方法验证
股票复杂复权手算.xlsx股票复杂复权(考虑股改)计算方法
股票比例复权手算(考虑股改).xlsx含股改因素的复权计算
基金比例复权手算(行情数据).xlsx基金比例复权(基于行情数据)
基金复杂复权手算(净值).xlsx基金复杂复权(基于净值数据)
可转债比例复权手算.xlsx可转债比例复权计算
可转债复杂复权手算.xlsx可转债复杂复权计算
期货主力与连续合约比例复权手算.xlsx期货比例复权
期货主力与连续合约复杂复权手算.xlsx期货复杂复权

源文件清单

文件路径
钱龙数据中心整体架构规划文档_V1.2.docxE:\钱龙\数据中心\钱龙数据中心整体架构规划文档_V1.2.docx
数据平台技术方案.docxE:\钱龙\数据中心\数据平台技术方案.docx
数据平台技术硬件规划方案.docxE:\钱龙\数据中心\数据平台技术硬件规划方案.docx
第1期交付设计_v0.96.docx / .pdfE:\钱龙\数据中心\第1期交付设计_v0.96.docx
黄金眼数据服务 架构部署说明.docxE:\钱龙\数据中心\黄金眼数据服务 架构部署说明.docx
数据中心硬件及程序清单.docxE:\钱龙\数据中心\数据中心硬件及程序清单.docx
深度优化及程序清单落实建议.docxE:\钱龙\数据中心\深度优化及程序清单落实建议.docx
数据报价明细.xlsxE:\钱龙\数据中心\数据报价明细.xlsx
F10相关表.txtE:\钱龙\数据中心\F10相关表.txt
复权计算样例文件E:\钱龙\数据中心\复权数据计算\ (9 个 Excel 文件)