Давайте рассмотрим, как можно выполнять вывод с использованием Phi-3-mini на устройствах Android. Phi-3-mini — это новая серия моделей от Microsoft, которая позволяет внедрять крупные языковые модели (LLMs) на устройствах периферии и IoT.
Semantic Kernel — это фреймворк для создания приложений, совместимых с Azure OpenAI Service, моделями OpenAI и даже локальными моделями. Если вы новичок в Semantic Kernel, рекомендуем ознакомиться с Semantic Kernel Cookbook.
Вы можете использовать его вместе с коннектором Hugging Face в Semantic Kernel. Ознакомьтесь с этим примером кода.
По умолчанию он соответствует идентификатору модели на Hugging Face. Однако вы также можете подключиться к локальному серверу модели Phi-3-mini.
Многие пользователи предпочитают использовать квантованные модели для локального запуска. Ollama и LlamaEdge позволяют индивидуальным пользователям вызывать различные квантованные модели:
Вы можете напрямую запустить ollama run Phi-3 или настроить его офлайн, создав Modelfile с путем к вашему файлу .gguf.
FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096
Если вы хотите использовать файлы .gguf одновременно в облаке и на устройствах периферии, LlamaEdge — отличный выбор. Вы можете ознакомиться с этим примером кода, чтобы начать.
- Скачайте приложение MLC Chat (бесплатно) для Android-устройств.
- Скачайте APK-файл (148MB) и установите его на устройство.
- Запустите приложение MLC Chat. Вы увидите список AI-моделей, включая Phi-3-mini.
В итоге, Phi-3-mini открывает захватывающие возможности для генеративного ИИ на устройствах периферии, и вы можете начать исследовать его возможности на Android.
Отказ от ответственности:
Этот документ был переведен с помощью сервиса автоматического перевода Co-op Translator. Несмотря на наши усилия обеспечить точность, автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неверные интерпретации, возникшие в результате использования данного перевода.