README.md

这是啥？

一个用纯Rust（不想用C++）打造的仿Pytorch的玩具型AI框架（目前尚不成熟，请勿使用）。该项目不打算支持GPU--因后期可能要支持安卓等平台，不想受制于某（几）种非CPU设备。但可能会加入NEAT等网络进化的算法。

名字由来

一部分原因是受到pytorch的影响，希望能写个和pytorch一样甚至更易用的AI框架；另一部分是希望本框架只触及（touch）一些关键的东西：

• only torch Rust --- 只用Rust（不用C++是因为其在复杂逻辑项目中容易写出内存不安全代码，也不打算支持Python接口）；也不用第三方lib（所以排除tch-rs），这样对跨平台支持会比较友好。
• only torch CPU --- 不用GPU，因要照顾多平台也不想被某个GPU厂商制约，且基于NEAT进化的网络结构也不太好被GPU优化（也省得考虑数据从CPU的堆栈迁移到其他设备内存的开销问题了）。
• only torch node --- 没有全连接、卷积、resnet这类先入为主的算子概念，具体模型结构均基于NEAT进化。
• only torch tensor --- 所有的数据类型都是内置类型tensor（实现可能会参考peroxide），不需要第三方处理库，如numpy，array或openBLAS（关于blas的一些说明）。
• only torch f32 --- 网络的参数（包括模型的输入、输出）不需要除了f32外的数据类型。

文档

目前无人性化的文档。可直接看Rust自动生成的Api Doc即可。

使用示例

（无）

TODO

• 等ada_line例子跑通后：Variable节点做常见的运算重载（如此便不需要用那些丑陋的节点算子了）
• parent.borrow_mut()或.children_mut()改变后如何保证其matrix形状是合法的该节点运算后matrix?
• fn as_node_enum(&self) -> NodeEnum { NodeEnum::Step(self.clone()) }会否影响计算图graph？
• Tensorlei的index将[[优化成[?
• Tensor类的slice(&[0..m, j..j+1])是否需要？
• children_mut是否可合并至children()? and value_mut是否可合并至value?
• fn as_node_enum(&self) -> NodeEnum trait method 是否多余，对于具体实现的节点，可否隐式转换或直接各节点返回NodeEnum？(只要不要影响后期各种算子的重载)？

// TODO:use approx::assert_abs_diff_eq; need or not? 目前需要先解决有没有的问题，而不是好不好

• [] 实现类似tch-rs中tch::no_grad(|| {});的无梯度功能；
• [] 常用激活函数，tanh，Softplus，sech
• [] 基于本框架解决XOR监督学习问题
• [] 基于本框架解决Mnist（数字识别）的监督学习问题
• [] 基于本框架解决CartPole（需要openAI Gym或相关crate支持）的深度强化学习问题
• [] 尝试实现下CFC
• [] 保存的json网络结构设计方案

参考资料

训练用数据集（包括强化学习gym）

• Mnist
• FashionMnist
• ChineseMnist
• 训练用的各种数据集（包括强化学习）
• bevy_rl
• pure_rust_gym
• 老式游戏rom

数学/IT原理

• 早期pytorch关于Tensor、Variable等的探讨
• 矩阵和向量的各种乘法
• 神经网络与记忆
• 陈天奇的机器学习编译课
• 基于梯度的机器学习IT原理

开源示例

• KAN 2.0

• radiate--衍生NEAT的纯Rust库

• neat-rs

• 纯Rust的NEAT+GRU

• Rusty_sr-纯Rust的基于dl的图像超清

• ndarray_glm(可参考下array!，分布，以及原生的BLAS)

• PyToy--基于MatrixSlow的Python机器学习框架

• MatrixSlow--纯python写的神经网络库

• python：遗传算法（GE）玩FlappyBird

• python包：遗传规划gplearn

• python包：遗传规划deap

• python包：特征自动提取

• NTK网络

（较为成熟的3方库）

• Burn—纯rust深度学习库

• Candle:纯rust较成熟的机器学习库

• 用纯numpy写各类机器学习算法 （自动微分参考）

• 手工微分：Rust-CNN

• neuronika--纯Rust深度学习库（更新停滞了，参考下自动微分部分）

• 基于TinyGrad的python深度学习库的RL示例

• 重点：Rust- ---支持cuda的Rust深度学习库(参考下自动微分部分)

• 重点：基于ndarray的反向autoDiff库

• 前向autoDiff(貌似不成熟)

• []

• 深度学习框架InsNet简介

• C++机器学习库MLPACK

• 经典机器学习算法Rust库

• peroxide--纯Rust的线代及周边库

• C++实现的NEAT+LSTM/GRU/CNN

• pytorch+NEAT

• avalog--基于avatar的Rust逻辑推理库

NEAT、神经架构进化

• 用梯度指导神经架构进化：Splitting Steepest Descent
• Deep Mad，将卷积网络设计为一个数学建模问题
• 动态蛇形卷积DSCNet
• autoML介绍

符号派：逻辑/因果推断

• scryer-prolog--Rust逻辑推理库
• vampire:自动证明器
• 那迷人的被遗忘的语言：Prolog
• 结合prolog和RL
• prolog与4证人难题
• logic+mL提问- prolog解决数度问题
• 贝叶斯与逻辑推理
• 用一阶逻辑辅佐人工神经网络
• 二阶逻辑杂谈
• 关于二阶逻辑的概念问题
• 书：《The Book of Why》
• 书：《Causality:Models,Reasoning,and Inference》
• 知乎：因果推断杂谈
• 信息不完备下基于贝叶斯推断的可靠度优化方法
• 贝叶斯网络中的因果推断

神经网络的可解释性

• 可解释性核心——神经网络的知识表达瓶颈
• 神经网络可解释性：论统一14种输入重要性归因算法
• 神经网络的可解释性
• 可解释的哈萨尼网络

超参数优化

• mle-hyperopt

CPU加速

• SLIDE
• Rust+AVX
• 矩阵加速-GEMM

强化学习

• Sac用以复合Action
• EfficientZero
• SpeedyZero
• LightZero
• 随机MuZero代码
• Redeeming Intrinsic Rewards via Constrained Optimization
• Learning Reward Machines for Partially Observable Reinforcement Learning
• combo代码
• 2023最新model-based offline算法：MOREC
• 众多model-base/free的offline算法
• model-free offline算法：MCQ解析
• RL论文列表（curiosity、offline、uncertainty，safe）
• 代替Gym的综合库

rust+大语言模型（LLM）

• BionicGpt
• 适用对话的Rust终端UI？
• chatGpt相关论文

（自动、交互式）定理证明

• 关于lean的一篇文章
• Lean+LLM
• 陶哲轩使用Lean4

博弈论（game）

• Sprague-Grundy介绍1
• Sprague-Grundy介绍2
• Sprague-Grundy介绍3

其他

• 动手学深度学习-李沐著
• openMMLab-Yolo
• GRU解释
• 基于人类语音指挥的AI
• webGPT会上网的gpt
• LeCun的自监督世界模型
• awesome Rust
• 去雾算法
• rust人工智能相关的项目

遵循协议

本项目遵循MIT协议（简言之：不约束，不负责）。