ARTI

ARTI 指南

在本机运行阅读问答

加载现成的中英文程序,回答一小段材料,再换成自己的问题。无需训练或 GPU;首次模型下载约 1.2 GB。

本页内容
  1. 01下载上手包5.2 MB
  2. 02安装一次Python · CPU
  3. 03得到第一个答案已记录的示例
  4. 04换成你的材料粘贴并继续提问

1. 下载可以直接运行的上手包。

已保存的英文程序、中文程序和一个脚本。解压 ZIP,在 arti-reading-starter 文件夹中打开终端。

下载上手包 · 5.2 MB ↓
开始前知道这些

使用 Python 3.10+ 和 CPU,无需训练或 GPU。首次还要下载约 1.2 GB 基座模型,以及 Python 依赖。建议电脑配备至少 8 GB 内存。

安排第一次下载与等待

只计算 1.2 GB 基座文件:持续 20 Mbps 约需 8 分钟,100 Mbps 约需 2 分钟。这是按文件量计算的下载预算,不含依赖、服务器限速、安装、模型载入与回答。

目前没有跨设备的公开载入与回答耗时范围。终端会分别提示下载、载入和生成;交互模式中的后续问题复用已载入模型。

模型开发者的第一个可运行例子

先运行一份保存的计算,再构建自己的组件。Qwen 负责读文本;ARTI 根据声明和已学习数值重建挂载程序。准备定义不同计算时,再进入模型集成。

查看组件怎样接入模型 ↗

2. 安装 CPU 环境。

在解压后的文件夹内运行这些命令,创建独立环境,安装 CPU Torch 与固定版本运行依赖。

终端 / 安装一次
python -m venv .venv
.venv\Scripts\python -m pip install "torch==2.11.0" --index-url https://download.pytorch.org/whl/cpu
.venv\Scripts\python -m pip install -r requirements.txt

3. 得到第一个答案。

终端 / 加载并回答
.venv\Scripts\python ask.py --language zh

第一次运行从 Hugging Face 下载公开基座。脚本随后在 CPU 上加载已保存 ARTI 程序,回答包内问题,显示答案并写入上手文件夹中的 answers.jsonl。

阅读问答示例Qwen3-0.6B + ARTI
你提供的材料
北城图书馆工作日上午九点开馆,周六上午十点开馆,周日闭馆。图书可以借阅21天,每本图书允许续借一次。
你的问题

图书可以借阅多久?

模型生成的答案21天

使用上手包中的已训练程序。示例展示实际输出,回答自己的材料时请与原文核对。

成功标志是终端显示生成的答案,并生成 answers.jsonl。以后复用 model-cache/ 中的模型文件。

4. 换成你的材料,再问一次。

终端 / 你的材料
.venv\Scripts\python ask.py --language zh --interactive

  1. 粘贴一小段材料,用空行结束。
  2. 输入关于这段材料的问题。继续提问时,不必重新加载模型。
  3. 输入 /quit 退出。再次运行命令即可换一段材料。

先从约一百字的短材料开始。脚本检查完整输入与答案预算,过长时提示缩短。保留原文,方便核对答案。

ARTI 在这个结果中做了什么。

Qwen 负责读文本。已保存的 ARTI 非线性程序挂载在最后两层 MLP 后。包内保留程序配置、131,072 个可学习值与分词器身份,公开预测器根据清单重建这个受支持配置。

这个上手包选择了一个非线性残差程序。标准 LoRA 同样可以表达为 ARTI Formula。ARTI 提供组合更新、路由和显式状态的程序语言;效果取决于所选择的计算和训练。

普通阅读问答可以直接使用已有模型接口。需要定义并保留模型中的可学习计算时,再选择 ARTI。这个例子让你检查那份程序与它的资产。

动手改一次:给 LoRA 加入 SiLU。

在低秩投影之间增加一个非线性节点。输入接口、A/B 数值和执行器继续复用,把新声明保存为 JSON,再重新加载。这个练习使用上面的 CPU 环境,无需下载基座模型。

改动前base + B(Ax)
改动后 · gain = 1base + B(SiLU(Ax))
Python / 新增的节点
hidden = api.scalar_map(hidden, mode="silu")

下载完整练习脚本 ↓ 保存到上手包文件夹,再运行:

终端 / 改写与重载
.venv\Scripts\python change_lora_program.py

  1. 先运行下载的原脚本,生成 program-change/program.json 与 result.json。
  2. 打开 Python 文件,在 with_nonlinearity() 中将 mode='silu' 改为 mode='tanh',再次运行同一条命令。
  3. 核对 same_bindings 为 true、五条指令、输出变化大于零,以及 reload_max_abs_difference 为 0。保存的声明现在包含 tanh。

已记录运行使用四个固定的 1024 维神经层输入,65,536 个 Bank 数值保持不变。程序从 4 条变成 5 条指令,输出随计算改变;重载保存的声明后,精确复现改动后的输出。

这是零次训练更新的神经组件改写练习。初始化数值与输出变化不代表阅读效果;新任务程序仍需自己的训练和评价。

在本页查看已记录的 SiLU 结果
result.json / SiLU
{
  "scope": "Fixed neural-layer computation edit; zero training updates",
  "input_shape": [
    1,
    4,
    1024
  ],
  "rank": 32,
  "bank_values": 65536,
  "before_instructions": 4,
  "after_instructions": 5,
  "same_bindings": true,
  "output_max_abs_change": 0.1494123935699463,
  "reload_max_abs_difference": 0,
  "script_sha256": "b8ce7c4788fae07480c0187326e68594f7f41b3cfe9b944df9231995f16b9628",
  "package": "arti-fit==3.3.0"
}

接下来,按需求继续。

  • 自己的材料:继续使用本地脚本。
  • 修改计算:进入模型集成与运行时指南。
  • 重新训练阅读配置:进入中英文完整训练案例。