README.md

Phi Cookbook: Практические примеры с моделями Phi от Microsoft

Phi — это серия моделей искусственного интеллекта с открытым исходным кодом, разработанных Microsoft.

Phi в настоящее время является самой мощной и экономичной небольшой языковой моделью (SLM), демонстрирующей отличные результаты в многоязычной обработке, рассуждении, генерации текста/чата, кодировании, работе с изображениями, аудио и других сценариях.

Вы можете развернуть Phi в облаке или на периферийных устройствах, а также легко создавать приложения генеративного ИИ с ограниченными вычислительными ресурсами.

Следуйте этим шагам, чтобы начать работу с этими ресурсами:

1. Сделайте форк репозитория: Нажмите
2. Клонируйте репозиторий: git clone https://github.com/microsoft/PhiCookBook.git
3. Присоединяйтесь к сообществу Microsoft AI в Discord и познакомьтесь с экспертами и другими разработчиками

🌐 Поддержка многоязычности

Французский | Испанский | Немецкий | Русский | Арабский | Персидский (Фарси) | Урду | Китайский (упрощенный) | Китайский (традиционный, Макао) | Китайский (традиционный, Гонконг) | Китайский (традиционный, Тайвань) | Японский | Корейский | Хинди | Бенгальский | Маратхи | Непальский | Панджаби (Гурмукхи) | Португальский (Португалия) | Португальский (Бразилия) | Итальянский | Польский | Турецкий | Греческий | Тайский | Шведский | Датский | Норвежский | Финский | Нидерландский | Иврит | Вьетнамский | Индонезийский | Малайский | Тагалог (Филиппинский) | Суахили | Венгерский | Чешский | Словацкий | Румынский | Болгарский | Сербский (Кириллица) | Хорватский | Словенский

Содержание

• Введение

  • Добро пожаловать в семью Phi
  • Настройка вашей среды
  • Понимание ключевых технологий
  • Безопасность ИИ для моделей Phi
  • Поддержка оборудования Phi
  • Модели Phi и их доступность на разных платформах
  • Использование Guidance-ai и Phi
  • Модели на GitHub Marketplace
  • Каталог моделей Azure AI

• Использование Phi в различных средах

  • Hugging Face
  • Модели GitHub
  • Каталог моделей Azure AI Foundry
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Использование семьи Phi

  • Использование Phi в iOS
  • Использование Phi в Android
  • Использование Phi в Jetson
  • Использование Phi в AI PC
  • Использование Phi с Apple MLX Framework
  • Использование Phi на локальном сервере
  • Использование Phi на удалённом сервере с AI Toolkit
  • Использование Phi с Rust
  • Использование Phi--Vision локально
  • Использование Phi с Kaito AKS, контейнерами Azure (официальная поддержка)

• Квантование семьи Phi

  • Квантование Phi-3.5 / 4 с использованием llama.cpp
  • Квантование Phi-3.5 / 4 с использованием расширений Generative AI для onnxruntime
  • Квантование Phi-3.5 / 4 с использованием Intel OpenVINO
  • Квантование Phi-3.5 / 4 с использованием Apple MLX Framework

• Оценка Phi

• Ответственный подход к ИИ

  • Azure AI Foundry для оценки
  • Использование Promptflow для оценки

• RAG с Azure AI Search

  • Как использовать Phi-4-mini и Phi-4-multimodal (RAG) с Azure AI Search

• Примеры разработки приложений Phi

  • Приложения для текста и чатов

    • Примеры Phi-4 🆕
      • [📓] Чат с моделью Phi-4-mini ONNX
      • Чат с локальной моделью Phi-4 ONNX на .NET
      • Консольное приложение чата .NET с Phi-4 ONNX с использованием Semantic Kernel
    • Примеры Phi-3 / 3.5
      • Локальный чат-бот в браузере с использованием Phi3, ONNX Runtime Web и WebGPU
      • Чат OpenVino
      • Мульти-модель - интерактивное использование Phi-3-mini и OpenAI Whisper
      • MLFlow - создание обёртки и использование Phi-3 с MLFlow
      • Оптимизация модели - как оптимизировать модель Phi-3-min для ONNX Runtime Web с помощью Olive
      • Приложение WinUI3 с Phi-3 mini-4k-instruct-onnx
      • Пример приложения заметок на WinUI3 с поддержкой ИИ
      • Тонкая настройка и интеграция пользовательских моделей Phi-3 с Prompt flow
      • Тонкая настройка и интеграция пользовательских моделей Phi-3 с Prompt flow в Azure AI Foundry
      • Оценка доработанных моделей Phi-3 / Phi-3.5 в Azure AI Foundry с учётом принципов ответственного подхода к ИИ от Microsoft
      • [📓] Пример предсказания языка с Phi-3.5-mini-instruct (китайский/английский)
      • Чат-бот RAG на Phi-3.5-Instruct с использованием WebGPU
      • Использование GPU Windows для создания решения Prompt flow с Phi-3.5-Instruct ONNX
      • Использование Microsoft Phi-3.5 tflite для создания приложения на Android
      • Пример вопросов и ответов на .NET с локальной моделью ONNX Phi-3 с использованием Microsoft.ML.OnnxRuntime
      • Консольное приложение чата на .NET с Semantic Kernel и Phi-3

  • Примеры на основе SDK для вывода Azure AI

    • Примеры Phi-4 🆕
      • [📓] Создание кода проекта с использованием Phi-4-multimodal
    • Примеры Phi-3 / 3.5
      • Создайте собственный чат Copilot для Visual Studio Code с семейством Microsoft Phi-3
      • Создайте собственного агента чата Copilot для Visual Studio Code с Phi-3.5 с использованием моделей GitHub

  • Примеры для сложных рассуждений

    • Примеры Phi-4 🆕
      • [📓] Примеры рассуждений с Phi-4-mini

  • Демонстрации

    • Демонстрации Phi-4-mini, размещённые на Hugging Face Spaces
    • Демонстрации Phi-4-multimodal, размещённые на Hugging Face Spaces

  • Примеры для работы с изображениями

    • Примеры Phi-4 🆕
      • [📓] Использование Phi-4-multimodal для чтения изображений и генерации кода
    • Примеры Phi-3 / 3.5

• [📓]Phi-3-vision-Image text to text

  • Phi-3-vision-ONNX
  • [📓]Phi-3-vision CLIP Embedding
  • ДЕМО: Phi-3 Recycling
  • Phi-3-vision - Визуальный языковой ассистент - с Phi3-Vision и OpenVINO
  • Phi-3 Vision Nvidia NIM
  • Phi-3 Vision OpenVino
  • [📓]Phi-3.5 Vision пример с несколькими кадрами или изображениями
  • Phi-3 Vision Локальная ONNX модель с использованием Microsoft.ML.OnnxRuntime .NET
  • Phi-3 Vision Локальная ONNX модель с меню с использованием Microsoft.ML.OnnxRuntime .NET

• Аудио примеры

  • Phi-4 Примеры 🆕
    • [📓] Извлечение аудио транскрипций с помощью Phi-4-multimodal
    • [📓] Аудио пример Phi-4-multimodal
    • [📓] Пример перевода речи с помощью Phi-4-multimodal
    • .NET консольное приложение с использованием Phi-4-multimodal для анализа аудиофайла и создания транскрипции

• Примеры MOE

  • Phi-3 / 3.5 Примеры
    • [📓] Phi-3.5 Модели смеси экспертов (MoEs) Пример для социальных сетей
    • [📓] Создание конвейера генерации с использованием поиска и извлечения (RAG) с NVIDIA NIM Phi-3 MOE, Azure AI Search и LlamaIndex

• Примеры вызова функций

  • Phi-4 Примеры 🆕
    • [📓] Использование вызова функций с Phi-4-mini
    • [📓] Использование вызова функций для создания мульти-агентов с Phi-4-mini
    • [📓] Использование вызова функций с Ollama

• Примеры мультимодального смешивания

  • Phi-4 Примеры 🆕
    • [📓] Использование Phi-4-multimodal в качестве журналиста технологий
    • .NET консольное приложение с использованием Phi-4-multimodal для анализа изображений

• Примеры тонкой настройки Phi

  • Сценарии тонкой настройки
  • Тонкая настройка vs RAG
  • Тонкая настройка: Пусть Phi-3 станет экспертом в отрасли
  • Тонкая настройка Phi-3 с помощью AI Toolkit для VS Code
  • Тонкая настройка Phi-3 с использованием Azure Machine Learning Service
  • Тонкая настройка Phi-3 с помощью Lora
  • Тонкая настройка Phi-3 с помощью QLora
  • Тонкая настройка Phi-3 с использованием Azure AI Foundry
  • Тонкая настройка Phi-3 с использованием Azure ML CLI/SDK

• Тонкая настройка с Microsoft Olive

  • Практическая лаборатория по тонкой настройке с Microsoft Olive
  • Тонкая настройка Phi-3-vision с использованием Weights and Bias
  • Тонкая настройка Phi-3 с помощью Apple MLX Framework
  • Тонкая настройка Phi-3-vision (официальная поддержка)
  • Тонкая настройка Phi-3 с Kaito AKS, Azure Containers (официальная поддержка)
  • Тонкая настройка Phi-3 и 3.5 Vision

• Практическая лаборатория

  • Исследование передовых моделей: LLM, SLM, локальная разработка и многое другое
  • Раскрытие потенциала NLP: тонкая настройка с Microsoft Olive

• Научные исследования и публикации

  • Учебники — всё, что вам нужно II: технический отчет phi-1.5
  • Технический отчет Phi-3: мощная языковая модель, работающая локально на вашем телефоне
  • Технический отчет Phi-4
  • Технический отчет Phi-4-Mini: компактные, но мощные мультимодальные языковые модели с использованием Mixture-of-LoRAs
  • Оптимизация малых языковых моделей для вызова функций в автомобиле
  • (WhyPHI) Тонкая настройка PHI-3 для ответа на вопросы с множественным выбором: методология, результаты и вызовы

Использование моделей Phi

Phi на Azure AI Foundry

Вы можете узнать, как использовать Microsoft Phi и создавать комплексные решения для различных аппаратных устройств. Чтобы попробовать Phi самостоятельно, начните с тестирования моделей и настройки Phi для ваших сценариев с помощью Azure AI Foundry Azure AI Model Catalog. Подробнее можно узнать в разделе Начало работы с Azure AI Foundry.

Площадка У каждой модели есть специальная площадка для тестирования Azure AI Playground.

Phi на GitHub Models

Вы можете узнать, как использовать Microsoft Phi и создавать комплексные решения для различных аппаратных устройств. Чтобы попробовать Phi самостоятельно, начните с тестирования моделей и настройки Phi для ваших сценариев с помощью GitHub Model Catalog. Подробнее можно узнать в разделе Начало работы с GitHub Model Catalog.

Площадка У каждой модели есть специальная площадка для тестирования.

Phi на Hugging Face

Модель также доступна на Hugging Face.

Площадка Площадка Hugging Chat.

Ответственный подход к ИИ

Microsoft стремится помочь клиентам использовать наши продукты ИИ ответственно, делиться опытом и строить доверительные партнерские отношения с помощью таких инструментов, как заметки о прозрачности и оценки воздействия. Многие из этих ресурсов доступны по адресу https://aka.ms/RAI. Подход Microsoft к ответственному ИИ основан на наших принципах справедливости, надежности и безопасности, конфиденциальности и защиты, инклюзивности, прозрачности и подотчетности.

Крупномасштабные модели естественного языка, изображения и речи, такие как те, что используются в этом примере, могут вести себя несправедливо, ненадежно или оскорбительно, что может привести к негативным последствиям. Ознакомьтесь с заметкой о прозрачности службы Azure OpenAI, чтобы узнать о рисках и ограничениях.

Рекомендуемый подход к снижению этих рисков — включить в архитектуру систему безопасности, которая может обнаруживать и предотвращать вредоносное поведение. Azure AI Content Safety предоставляет независимый уровень защиты, способный обнаруживать вредоносный контент, созданный пользователями и ИИ, в приложениях и сервисах. Azure AI Content Safety включает API для текста и изображений, которые позволяют выявлять вредоносные материалы. В рамках Azure AI Foundry служба Content Safety позволяет просматривать, исследовать и тестировать образцы кода для обнаружения вредоносного контента в различных модальностях. Следующая документация по быстрому старту поможет вам сделать запросы к сервису.

Еще один аспект, который следует учитывать, — это общая производительность приложения. В мультимодальных и многомодельных приложениях производительность означает, что система работает так, как ожидают вы и ваши пользователи, включая предотвращение генерации вредоносных результатов. Важно оценить производительность вашего приложения в целом, используя оценочные метрики производительности, качества, рисков и безопасности. Также вы можете создавать и использовать пользовательские оценочные метрики. Вы можете протестировать ваше приложение искусственного интеллекта в вашей среде разработки, используя Azure AI Evaluation SDK. На основе тестового набора данных или целевой задачи, генерации вашего приложения для генеративного ИИ количественно оцениваются с помощью встроенных или пользовательских оценочных инструментов на ваш выбор. Чтобы начать работу с Azure AI Evaluation SDK для оценки вашей системы, вы можете следовать руководству по быстрому старту. После выполнения оценочного запуска вы можете визуализировать результаты в Azure AI Foundry.

Торговые марки

Этот проект может содержать торговые марки или логотипы для проектов, продуктов или услуг. Разрешенное использование торговых марок или логотипов Microsoft должно соответствовать и следовать Руководству по торговым маркам и брендам Microsoft. Использование торговых марок или логотипов Microsoft в модифицированных версиях этого проекта не должно вызывать путаницу или подразумевать спонсорство со стороны Microsoft. Любое использование торговых марок или логотипов третьих сторон должно соответствовать политике этих третьих сторон.

Отказ от ответственности:
Этот документ был переведен с использованием службы автоматического перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, автоматические переводы могут содержать ошибки или неточности. Оригинальный документ на его родном языке следует считать авторитетным источником. Для получения важной информации рекомендуется профессиональный перевод человеком. Мы не несем ответственности за любые недоразумения или неправильные интерпретации, возникшие в результате использования данного перевода.