Ax的MCP服务器
从Ollama的本地法学硕士开始:```
python bridge.py
## 从本地LLM和python llama.cpp开始(运行GGUF文件模型):```
python directserver.py
需求
要使用ollama运行,requirements.txt就可以了。
要为llama.cpp添加GPU支持,请执行以下操作:
在命令行上:export CMAKE_ARGS="-DGGML_CUDA=on"
export FORCE_CMAKE=1
pip install --upgrade --force-reinstall --no-cache-dir llama-cpp-python
