本地推理

oprel

Oprel開發的高效能Python函式庫，用於在本機執行大型語言模型，具備生產級執行環境、進階記憶體管理、混合卸載及完整多模態支援。