Phi-3를 로컬 서버에 배포할 수 있습니다. 사용자는 Ollama 또는 LM Studio 솔루션을 선택하거나 직접 코드를 작성할 수 있습니다. Semantic Kernel 또는 Langchain을 통해 Phi-3의 로컬 서비스를 연결하여 Copilot 애플리케이션을 구축할 수 있습니다.
Copilot 애플리케이션에서는 Semantic Kernel / LangChain을 통해 애플리케이션을 생성합니다. 이러한 유형의 애플리케이션 프레임워크는 일반적으로 Azure OpenAI Service / OpenAI 모델과 호환되며, Hugging Face의 오픈 소스 모델 및 로컬 모델도 지원할 수 있습니다. 그렇다면 Semantic Kernel을 사용하여 Phi-3-mini에 접근하려면 어떻게 해야 할까요? .NET을 예로 들어 보면, Semantic Kernel의 Hugging Face Connector와 결합하여 사용할 수 있습니다. 기본적으로 Hugging Face의 모델 ID에 대응할 수 있으며(처음 사용할 때 Hugging Face에서 모델이 다운로드되며 시간이 오래 걸립니다), 로컬에서 구축한 서비스에 연결할 수도 있습니다. 두 가지를 비교했을 때, 후자를 사용하는 것이 더 권장됩니다. 특히 기업 애플리케이션에서 더 높은 자율성을 제공합니다.
Semantic Kernel을 통해 로컬 서비스를 접근하면 자체 구축한 Phi-3-mini 모델 서버에 쉽게 연결할 수 있습니다. 아래는 실행 결과입니다.
샘플 코드 https://github.com/kinfey/Phi3MiniSamples/tree/main/semantickernel
면책 조항:
이 문서는 AI 번역 서비스 Co-op Translator를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원본 문서가 해당 언어로 작성된 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 책임을 지지 않습니다.