CatBase 本身没有内置专属的AI边缘计算库，但依托其‌直接无缝调用C生态.so/.a库‌的核心能力，几

乎所有主流高性能边缘AI推理框架都可以直接接入使用，非常适合在资源受限的边缘设备上实现低开

销、高性能的AI部署。

核心适配的边缘AI推理库

kitten-inference‌：纯C++实现的轻量级神经网络推理引擎，专为边缘硬件设计，支持INT8/FP32全

系列算子，自动适配ARM NEON、x86 AVX2指令集，体积极小，完全可以通过CatBase直接导入动

态库调用，在嵌入式设备上实现图像分类、语音识别等基础AI任务。

C-Kernel-Engine (CKE)‌：纯CPU原生的AI运行时，全栈C语言实现，从模型导入、IR生成到内核执行

全程可审计，在ARM嵌入式设备上的tokenizer性能比PyTorch快16倍以上，和CatBase的零依赖原生

编译特性完美匹配，适合对可控性、内存占用要求极高的边缘场景。

NVIDIA TensorRT 全系列‌：包括面向边缘端的TensorRT、TensorRT-LLM、TensorRT Edge-LLM，

在Jetson系列边缘硬件上可以直接通过CatBase导入对应的C动态库，实现大模型、多模态模型的极致

低延迟推理，支持INT4/FP8等先进量化技术。

Google LiteRT-LM‌：跨平台轻量级LLM推理框架，支持Raspberry Pi等IoT设备、移动端全平台，

CatBase可以直接调用其C运行时，在极小内存环境下本地运行Qwen、Gemma等小参数大模型，完

全离线无云端依赖。

voxedge‌：面向边缘端的实时语音对话推理库，底层直接对接TensorRT、RKNN、sherpa-onnx原生

运行时，CatBase可以直接封装其C接口，在Jetson、瑞芯微等边缘板卡上实现全离线的实时ASR/TTS+LLM

语音交互管线。

RKNN Runtime‌：瑞芯微全系列NPU的官方推理运行时，CatBase直接导入librknnrt.so动态库，就

能在RK3566/RK3588等常见边缘板卡上调用NPU硬件加速，部署量化后的视觉、大语言模型。

典型接入示例

以调用kitten-inference动态库为例，CatBase中仅需几行代码即可完成接入：

catbase

// 导入kitten-inference的C动态库

import "/usr/lib/libkitten-inference.so" as kitten

from kitten import kitten_init() -> int

from kitten import kitten_load_model(json_path:str, weights_path:str) -> int

from kitten import kitten_inference(input_data:list[float]) -> list[float]

def main() {

    // 初始化推理引擎

    kitten.kitten_init()

    // 加载本地边缘模型

    kitten.kitten_load_model("./resnet_int8.json", "./resnet_int8.bin")

    // 执行边缘推理

    result:list[float] = kitten.kitten_inference([...])

    print("推理结果：", result)

}

这种接入方式完全没有额外的抽象层开销，推理性能和原生C实现完全一致，同时保留了CatBase类

似Python的简洁语法，大幅降低了边缘AI开发的代码量和学习门槛。

需要我为你整理一份‌CatBase接入RKNN Runtime的完整可运行示例代码‌吗？可以直接在鲁班猫等常

见边缘板卡上编译运行。