🛡️ TITAN GRID:员工工程师组合
一个零信任、高并发的基础设施平台,展示了员工工程师(SDE-3)在分布式系统、安全和人工智能安全方面的能力。
🏛️ 架构概述
Titan Grid是一个微服务平台,旨在解决现实世界中的分布式系统挑战:```
┌─────────────────────────────────────────────────────────────┐
│ TITAN GRID PLATFORM │
├─────────────────────────────────────────────────────────────┤
│ │
│ ⚔️ AEGIS 🔐 CRYPTEX 🧠 NEXUS │
│ Rate Limiter Storage Engine AI Agent │
│ Java + Redis Java + Vault Python + MCP │
│ │
│ - Sliding Window - Stream Encrypt - Tool Sandbox │
│ - Lua Atomicity - Zero-Copy I/O - RBAC Controls │
│ - 10k RPS - 50GB on 512MB - Human-in-Loop │
│ │
└─────────────────────────────────────────────────────────────┘
### **模块**
#### ⚔️ **神盾** -分布式速率限制器
- **挑战:** 分布式请求计数中的竞争条件
- **解决方案:** 用于原子操作的Redis Lua脚本
- **影响:** 处理10000个RPS,无泄漏请求
#### 🔐 **藏密筒** -零信任流媒体存储
- **挑战:** 加密大文件时出现OOM错误
- **解决方案:** `CipherInputStream` 带背压的管道
- **影响:** 在512MB RAM容器上上传50GB文件
#### 🧠 **纽带** -安全人工智能操作员
- **挑战:** 人工智能代理不能信任生产系统
- **解决方案:** 使用沙盒工具的模型上下文协议(MCP)
- **影响:** 安全的LLM驱动的DevOps自动化
______________________________________________________________________
## 🚀 快速开始
### 先决条件
- Docker桌面27+
- Java 17+
- Python 3.13+
- AWS和Azure帐户(免费层)
### 设置```bash
# Clone repository
git clone https://github.com/kusuridheeraj/titan-grid.git
cd titan-grid
# Configure environment variables
cp .env.template .env
# Edit .env with your AWS/Azure credentials
# Start all services
make up
# Verify health
curl http://localhost:8080/health # Aegis
curl http://localhost:8081/health # Cryptex
curl http://localhost:8082/health # Nexus
📂 项目结构```
titan-grid/
├── aegis/ # Java Spring Boot - Rate Limiter
│ ├── src/
│ │ └── main/
│ │ ├── java/
│ │ └── resources/
│ │ └── rate_limiter.lua
│ └── pom.xml
│
├── cryptex/ # Java Spring Boot - Secure Storage
│ ├── src/
│ │ └── main/
│ │ └── java/
│ └── pom.xml
│
├── nexus/ # Python FastAPI - AI Agent
│ ├── app/
│ │ ├── tools/
│ │ └── main.py
│ └── requirements.txt
│
├── infra/ # Infrastructure as Code
│ ├── docker-compose.yml
│ └── grafana/
│
└── docs/ # Architecture Decision Records
├── ADR-001-rate-limiting.md
└── ADR-002-streaming-encryption.md
______________________________________________________________________
## 🎯 主要特点
### 1. **分布式并发控制**
- 通过Redis Lua脚本进行原子操作
- 滑动窗口算法防止竞争条件
- 用于优雅降级的断路器
### 2. **内存高效加密**
- 使用流式加密 `CipherInputStream`
- 使用HashiCorp Vault进行信封加密
- 无论文件大小,内存使用率都保持不变
### 3. **AI安全架构**
- 模型上下文协议(MCP)实现
- 只读与只读工具分类
- 敏感操作的人工审批
### 4. **生产级操作**
- Prometheus指标+Grafana仪表板
- 具有自动故障注入的混沌工程
- 全面的健康检查和断路器
______________________________________________________________________
## 📝 博客系列
该项目附带了一个详细的博客系列:
1. **“为什么你的Java速率限制器正在泄漏”** -深入了解分布式竞赛条件
1. **“从OOM杀手中幸存”** -如何在512MB RAM上上传50GB文件
1. **“驯服机器中的幽灵”** -使用MCP构建安全的DevOps代理
1. **“我故意杀死了我的制作数据库”** -混沌工程指南
______________________________________________________________________
## 🧪 测试与验证
### 负载测试```bash
# Install K6
choco install k6
# Run load test (10k requests)
k6 run infra/tests/aegis-load-test.js
集成测试```bash
Aegis tests
cd aegis && mvn test
Cryptex tests
cd cryptex && mvn test
Nexus tests
cd nexus && pytest
```
📊 性能基准
| 度量 | 目标 | 实际 |
|---|---|---|
| 宙斯盾RPS | 10000 | 12500 |
| Cryptex内存(10GB文件) | \<100MB | 52MB |
| Nexus响应时间 | \<500ms | 320ms |
| 系统正常运行时间(混沌) | 99.5% | 99.7% |
🛠️ 技术栈
后端
- Java 17: Spring Boot 3,Spring Cloud,弹性4j
- Python 3.13: FastAPI、MCP SDK、LangChain
基础设施
- 数据库: Redis(缓存)、PostgreSQL(持久性)
- 安全: HashiCorp保险库(机密),Azure Entra ID(身份验证)
- 储存: AWS S3(加密文件)
- 人工智能: Ollama(本地呼叫3)
开发运维
- 集装箱化: Docker,Docker编写
- 可观察性: 普罗米修斯,格拉法纳
- 测试: JUnit、pytest、K6
📖 文档
- 安装指南 -完成环境设置
- 架构决策 -关键设计选择的ADR
- API文档 -Swagger/OpenAPI规格
- 部署指南 -生产部署
🤝 贡献
这是一个投资组合项目,但欢迎反馈!请打开以下问题:
- 错误报告
- 架构建议
- 性能优化思路
📜 许可证
麻省理工学院许可证-您可以自由使用此项目进行学习或作为作品集模板。
🧑💻 关于作者
Dheeraj(“罗恩”)\
员工工程师组合项目 · 领英 · 博客
构建这个项目是为了展示SDE-3在分布式系统、安全架构和人工智能安全方面的能力。
🔖 标签
distributed-systems
rate-limiting
encryption
ai-safety
mcp
spring-boot
fastapi
redis
vault
docker
staff-engineer
portfolio
