Explorons comment effectuer une inférence avec Phi-3-mini sur les appareils Android. Phi-3-mini est une nouvelle série de modèles développée par Microsoft qui permet de déployer des modèles de langage avancés (LLMs) sur des appareils edge et des dispositifs IoT.
Semantic Kernel est un cadre d'application qui vous permet de créer des applications compatibles avec Azure OpenAI Service, les modèles OpenAI, et même des modèles locaux. Si vous découvrez Semantic Kernel, nous vous recommandons de consulter le Semantic Kernel Cookbook.
Vous pouvez le combiner avec le connecteur Hugging Face dans Semantic Kernel. Consultez ce code d'exemple.
Par défaut, cela correspond à l'ID du modèle sur Hugging Face. Cependant, vous pouvez également vous connecter à un serveur de modèle Phi-3-mini localement construit.
De nombreux utilisateurs préfèrent utiliser des modèles quantifiés pour exécuter les modèles localement. Ollama et LlamaEdge permettent aux utilisateurs individuels d'exploiter différents modèles quantifiés :
Vous pouvez exécuter directement ollama run Phi-3 ou le configurer hors ligne en créant un Modelfile avec le chemin vers votre fichier .gguf.
FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096
Si vous souhaitez utiliser des fichiers .gguf dans le cloud et sur des appareils edge simultanément, LlamaEdge est un excellent choix. Vous pouvez consulter ce code d'exemple pour commencer.
- Téléchargez l'application MLC Chat (gratuite) pour les téléphones Android.
- Téléchargez le fichier APK (148 Mo) et installez-le sur votre appareil.
- Lancez l'application MLC Chat. Vous verrez une liste de modèles d'IA, y compris Phi-3-mini.
En résumé, Phi-3-mini ouvre des possibilités passionnantes pour l'IA générative sur des appareils edge, et vous pouvez commencer à explorer ses capacités sur Android.
Avertissement :
Ce document a été traduit à l'aide du service de traduction automatisée Co-op Translator. Bien que nous fassions de notre mieux pour garantir l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations critiques, il est recommandé de recourir à une traduction humaine professionnelle. Nous déclinons toute responsabilité en cas de malentendus ou d'interprétations erronées résultant de l'utilisation de cette traduction.