README.md

Phi 使用手册：Microsoft Phi 模型实践示例

Phi 是由 Microsoft 开发的一系列开源 AI 模型。

Phi 目前是性能最强、性价比最高的小型语言模型（SLM），在多语言、推理、文本/聊天生成、代码生成、图像、音频及其他场景中表现优异。

您可以将 Phi 部署到云端或边缘设备，并且可以轻松利用有限的计算资源构建生成式 AI 应用。

按照以下步骤开始使用这些资源：

1. Fork 仓库：点击
2. 克隆仓库： git clone https://github.com/microsoft/PhiCookBook.git
3. 加入 Microsoft AI Discord 社区，与专家和开发者交流

🌐 多语言支持

法语 | 西班牙语 | 德语 | 俄语 | 阿拉伯语 | 波斯语 (法尔西语) | 乌尔都语 | 中文（简体） | 中文（繁体，澳门） | 中文（繁体，香港） | 中文（繁体，台湾） | 日语 | 韩语 | 印地语 | 孟加拉语 | 马拉地语 | 尼泊尔语 | 旁遮普语 (古木基语) | 葡萄牙语（葡萄牙） | 葡萄牙语（巴西） | 意大利语 | 波兰语 | 土耳其语 | 希腊语 | 泰语 | 瑞典语 | 丹麦语 | 挪威语 | 芬兰语 | 荷兰语 | 希伯来语 | 越南语 | 印尼语 | 马来语 | 他加禄语 (菲律宾语) | 斯瓦希里语 | 匈牙利语 | 捷克语 | 斯洛伐克语 | 罗马尼亚语 | 保加利亚语 | 塞尔维亚语（西里尔文） | 克罗地亚语 | 斯洛文尼亚语

目录

• 简介

  • 欢迎加入Phi家族
  • 设置您的环境
  • 了解关键技术
  • Phi模型的AI安全性
  • Phi硬件支持
  • Phi模型及跨平台可用性
  • 使用Guidance-ai和Phi
  • GitHub Marketplace模型
  • Azure AI模型目录

• 在不同环境中推理Phi

  • Hugging face
  • GitHub模型
  • Azure AI Foundry模型目录
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Phi家族推理

  • 在iOS中推理Phi
  • 在Android中推理Phi
  • 在Jetson中推理Phi
  • 在AI PC中推理Phi
  • 使用Apple MLX框架推理Phi
  • 在本地服务器中推理Phi
  • 使用AI工具包在远程服务器中推理Phi
  • 使用Rust推理Phi
  • 在本地推理Phi--Vision
  • 使用Kaito AKS和Azure容器（官方支持）推理Phi

• Phi家族量化

  • 使用llama.cpp量化Phi-3.5 / 4
  • 使用onnxruntime的生成式AI扩展量化Phi-3.5 / 4
  • 使用Intel OpenVINO量化Phi-3.5 / 4
  • 使用Apple MLX框架量化Phi-3.5 / 4

• 评估Phi

• 负责任的AI

  • 用于评估的Azure AI Foundry
  • 使用Promptflow进行评估

• 使用Azure AI Search的RAG

  • 如何使用Phi-4-mini和Phi-4-multimodal（RAG）结合Azure AI Search

• Phi应用开发样例

  • 文本与聊天应用

    • Phi-4 样例 🆕
      • [📓] 使用Phi-4-mini ONNX模型进行聊天
      • 使用Phi-4本地ONNX模型的.NET聊天
      • 使用Phi-4 ONNX和语义内核的.NET控制台聊天应用
    • Phi-3 / 3.5 样例
      • 使用Phi3、ONNX Runtime Web和WebGPU在浏览器中运行本地聊天机器人
      • OpenVino聊天
      • 多模型 - Phi-3-mini与OpenAI Whisper交互
      • MLFlow - 构建封装并使用Phi-3与MLFlow
      • 模型优化 - 如何使用Olive优化Phi-3-mini模型以适配ONNX Runtime Web
      • WinUI3应用与Phi-3 mini-4k-instruct-onnx
      • WinUI3多模型AI驱动的笔记应用样例
      • 使用Prompt flow微调并集成自定义Phi-3模型
      • 在Azure AI Foundry中使用Prompt flow微调并集成自定义Phi-3模型
      • 在Azure AI Foundry中评估微调后的Phi-3 / Phi-3.5模型，重点关注微软的负责任AI原则
      • [📓] Phi-3.5-mini-instruct语言预测样例（中文/英文）
      • Phi-3.5-Instruct WebGPU RAG聊天机器人
      • 使用Windows GPU创建Prompt flow解决方案并结合Phi-3.5-Instruct ONNX
      • 使用Microsoft Phi-3.5 tflite创建安卓应用
      • 使用Microsoft.ML.OnnxRuntime结合本地ONNX Phi-3模型的问答.NET样例
      • 结合语义内核和Phi-3的.NET控制台聊天应用

  • 基于Azure AI推理SDK的代码样例

    • Phi-4 样例 🆕
      • [📓] 使用Phi-4-multimodal生成项目代码
    • Phi-3 / 3.5 样例
      • 使用Microsoft Phi-3系列构建自己的Visual Studio Code GitHub Copilot聊天扩展
      • 使用Phi-3.5结合GitHub模型创建自己的Visual Studio Code聊天助手

  • 高级推理样例

    • Phi-4 样例 🆕
      • [📓] Phi-4-mini推理样例

  • 演示

    • Phi-4-mini演示托管于Hugging Face Spaces
    • Phi-4-multimodal演示托管于Hugging Face Spaces

  • 视觉样例

    • Phi-4 样例 🆕
      • [📓] 使用Phi-4-multimodal读取图像并生成代码
    • Phi-3 / 3.5 样例

• [📓]Phi-3-vision-Image text to text

  • Phi-3-vision-ONNX
  • [📓]Phi-3-vision CLIP Embedding
  • DEMO: Phi-3 Recycling
  • Phi-3-vision - 视觉语言助手 - 使用 Phi3-Vision 和 OpenVINO
  • Phi-3 Vision Nvidia NIM
  • Phi-3 Vision OpenVino
  • [📓]Phi-3.5 Vision 多帧或多图像示例
  • Phi-3 Vision 使用 Microsoft.ML.OnnxRuntime .NET 的本地 ONNX 模型
  • 基于菜单的 Phi-3 Vision 使用 Microsoft.ML.OnnxRuntime .NET 的本地 ONNX 模型

• 音频样例

  • Phi-4 样例 🆕
    • [📓] 使用 Phi-4-multimodal 提取音频转录
    • [📓] Phi-4-multimodal 音频样例
    • [📓] Phi-4-multimodal 语音翻译样例
    • .NET 控制台应用程序使用 Phi-4-multimodal 分析音频文件并生成转录

• MOE 样例

  • Phi-3 / 3.5 样例
    • [📓] Phi-3.5 Mixture of Experts Models (MoEs) 社交媒体样例
    • [📓] 使用 NVIDIA NIM Phi-3 MOE、Azure AI Search 和 LlamaIndex 构建检索增强生成 (RAG) 管道

• 函数调用样例

  • Phi-4 样例 🆕
    • [📓] 使用 Phi-4-mini 进行函数调用
    • [📓] 使用函数调用创建多代理，使用 Phi-4-mini
    • [📓] 使用 Ollama 进行函数调用

• 多模态混合样例

  • Phi-4 样例 🆕
    • [📓] 作为技术记者使用 Phi-4-multimodal
    • .NET 控制台应用程序使用 Phi-4-multimodal 分析图像

• Phi 样例微调

  • 微调场景
  • 微调与 RAG
  • 微调让 Phi-3 成为行业专家
  • 使用 AI 工具包为 VS Code 微调 Phi-3
  • 使用 Azure 机器学习服务微调 Phi-3
  • 使用 Lora 微调 Phi-3
  • 使用 QLora 微调 Phi-3
  • 使用 Azure AI Foundry 微调 Phi-3
  • 使用 Azure ML CLI/SDK 微调 Phi-3

• 使用 Microsoft Olive 进行微调

  • Microsoft Olive 微调实践实验
  • 使用 Weights and Bias 微调 Phi-3-vision
  • 使用 Apple MLX 框架微调 Phi-3
  • 微调 Phi-3-vision（官方支持）
  • 使用 Kaito AKS 和 Azure Containers 微调 Phi-3（官方支持）
  • 微调 Phi-3 和 3.5 Vision

• 实践实验

  • 探索前沿模型：LLM、SLM、本地开发等
  • 解锁 NLP 潜力：使用 Microsoft Olive 进行微调

• 学术研究论文和出版物

  • 教科书是你唯一需要的 II：phi-1.5 技术报告
  • Phi-3 技术报告：在手机本地运行的高能力语言模型
  • Phi-4 技术报告
  • Phi-4-Mini 技术报告：通过 Mixture-of-LoRAs 实现紧凑但强大的多模态语言模型
  • 优化小型语言模型用于车载功能调用
  • (WhyPHI) 微调 PHI-3 以回答多项选择题：方法、结果与挑战

使用 Phi 模型

在 Azure AI Foundry 上使用 Phi

您可以学习如何使用 Microsoft Phi，并在不同的硬件设备上构建端到端解决方案。要亲自体验 Phi，可以通过 Azure AI Foundry Azure AI 模型目录 开始试用模型并根据您的场景自定义 Phi。您还可以通过 Azure AI Foundry 快速入门 获取更多信息。

Playground 每个模型都有专属的 Playground 用于测试模型：Azure AI Playground。

在 GitHub 模型上使用 Phi

您可以学习如何使用 Microsoft Phi，并在不同的硬件设备上构建端到端解决方案。要亲自体验 Phi，可以通过 GitHub 模型目录 开始试用模型并根据您的场景自定义 Phi。您还可以通过 GitHub 模型目录快速入门 获取更多信息。

Playground 每个模型都有专属的 Playground 用于测试模型。

在 Hugging Face 上使用 Phi

您也可以在 Hugging Face 上找到该模型。

Playground Hugging Chat Playground

负责任的 AI

Microsoft 致力于帮助客户负责任地使用我们的 AI 产品，分享我们的经验，并通过工具（如透明性说明和影响评估）建立基于信任的合作伙伴关系。这些资源中的许多可以在 https://aka.ms/RAI 找到。
Microsoft 的负责任 AI 方法基于我们的 AI 原则：公平性、可靠性和安全性、隐私和安全性、包容性、透明性和问责制。

大规模的自然语言、图像和语音模型（如本示例中使用的模型）可能会以不公平、不可靠或冒犯的方式表现，从而造成伤害。请查阅 Azure OpenAI 服务透明性说明 了解相关风险和限制。

推荐的风险缓解方法是在您的架构中包含一个安全系统，以检测和防止有害行为。Azure AI 内容安全 提供了一个独立的保护层，能够检测应用程序和服务中的用户生成和 AI 生成的有害内容。Azure AI 内容安全包括文本和图像 API，允许您检测有害内容。在 Azure AI Foundry 中，内容安全服务允许您查看、探索和试用检测不同模态有害内容的示例代码。以下 快速入门文档 指导您如何向该服务发送请求。

另一个需要考虑的方面是整体应用程序性能。在多模态和多模型应用程序中，我们认为性能意味着系统按照您和您的用户的预期运行，包括不生成有害输出。评估整体应用程序性能的重要性可以通过使用 性能与质量以及风险与安全评估器 来实现。您还可以创建和评估 自定义评估器。 您可以在开发环境中使用 Azure AI Evaluation SDK 来评估您的 AI 应用程序。无论是给定测试数据集还是目标，您的生成式 AI 应用程序的生成结果都可以通过内置评估器或您选择的自定义评估器进行定量测量。要开始使用 Azure AI Evaluation SDK 评估您的系统，可以参考快速入门指南。执行评估运行后，您可以在 Azure AI Foundry 中可视化结果。

商标

此项目可能包含项目、产品或服务的商标或标识。经授权使用 Microsoft 商标或标识必须遵守并符合 Microsoft 商标和品牌指南。在修改版本中使用 Microsoft 商标或标识不得引起混淆或暗示 Microsoft 赞助。任何使用第三方商标或标识的行为必须遵守这些第三方的政策。

免责声明：
本文档使用AI翻译服务Co-op Translator进行翻译。虽然我们尽力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文档作为权威来源。对于关键信息，建议寻求专业人工翻译。我们不对因使用此翻译而产生的任何误解或误读承担责任。