Wrote a custom C++ engine for MiniCPM-V 4.6 on Orange Pi AIPro (Ascend 310B) to bypass framework overhead

En 3 lignesDéveloppeur crée un moteur d'inférence C++ custom pour MiniCPM-V 4.6 sur Orange Pi AIPro (Ascend 310B NPU, 149$). Contourne les frameworks lourds avec kernels AscendC optimisés, passant de 2.88 à 5.90 tokens/s (170ms par étape). Code open-source sur GitHub.

Résumé généré par Claude — vérifié par l'humain