还不会机器学习模型部署?15 张图带你走进TensorFlow 部署框架!

云瑶酱_1305

云瑶酱_1305

2023-04-11

2051人浏览

转载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

开篇

前几日与一位从事开发3年的朋友小李聊天,得知他所在的企业正在进行机器学习相关的项目。最近,他接到了一个任务,就是将训练好的机器学习模型进行部署。这可愁坏了小李,他接触机器学习开发差不多有小半年了,主要从事收集数据、数据清洗、搭建环境、训练模型、模型评估的相关工作,但做模型部署还是第一次。

于是,我根据自己的经验针对机器学习的模型部署进行了科普。如图1 所示,在传统编程中,我们将规则和数据传递给程序获得我们想要的答案,而对于机器学习而言,我们是通过答案和数据训练出规则,这个规则就是机器学习的模型。

图1 传统编程和机器学习的区别

而机器学习的模型部署就是要将这个规则(模型)部署到需要应用机器学习的终端上。如图2 所示,机器学习所训练出来的模型,可以理解为函数、API或者SDK,部署到对应的终端上(图中灰色部分)。部署之后终端就具备模型所赋予的能力,此时输入新的数据就可以根据规则(模型)得到预测的结果。

图2 机器学习模型部署原理

TensorFlow 机器学习部署框架

小李听了我的介绍表示能够理解,并饶有兴致地将他们项目的部署情况向我全盘托出,想征求我的意见。如图3所示,他们要将一个图像识别的模型分别部署到IOS、Android、树莓派、Web浏览器以及服务器端。

图3 模型部署场景

从部署的应用场景来看,具有轻量级、跨平台的特点。同一个机器学习模型要部署到多个不同的平台,每个平台的存储和运算能力都不相同。同时,还是兼顾模型运行的可用性、性能、安全性、可扩展性,需要使用相对稳定的大平台。于是,我把TensorFlow 的机器学习部署框架推荐给他。如图4所示,TensorFlow的部署框架针对不同平台分别提供组件进行支撑。其中Android、IOS、树莓派对应的是TensorFlow Lite,它是专门用于移动端的模型部署框架。浏览器端可以使用TensorFlow.js,而服务器端可以使用TensorFlow Serving。

图4 TensorFlow 机器学习模型部署框架

TensorFlow Lite 实际操作

小李想了解更加具体的部署过程,刚好我手上有一个项目用到了TensorFlow 的部署框架,于是将其过程演示给他看看。这个项目是要将“猫狗识别”的模型部署到Android 手机上,由于IOS 、Android、树莓派、浏览器都属于客户端,其拥有的运算资源不可能和服务器相比。特别是移动端的应用都有轻量、低延迟、高效、隐私保护、省电等特点,因此TensorFlow 对其进行的专门的部署设计,并使用TensorFlow Lite 对其进行部署。

利用TensorFlow Lite 对模型进行部署需要三步:

  1.  使用TensorFlow 训练模型。
  2.  转化TensorFlow Lite 格式。
  3. 使用TensorFlow Lite 解释器加载执行。

第一步,我们在模型训练已经完成了,第二步是将生成好的模型转化成TensorFlow Lite 能够识别和使用的模式格式。正如上面所提到的,模型是在移动端使用的需要考虑各方面的问题,因此需要针对移动端生成专门的文件格式。第三部就是将转化好的TensorFlow Lite文件加载到移动端的解释器中并执行。

由于我们的重点在模型的部署,因此第一步的训练模型暂时跳过,也就是假设你已经训练好模型了。针对第二步的模型转化可以参考图5,TensorFlow 的模型会通过Converter 将其转化成后缀是”.tflite”的模型文件,然后发布到不同的平台,通过每个平台上的解释器对其进行解释和加载。

图5 TensorFlow Lite 模型转化架构

模型保存和转化

上面介绍了TensorFlow Lite 的架构,这里需要将模型保存为TensorFlow 模型,并对其进行转化。如图6 所示,我们调用TensorFlow 中的saved_model.save方法将model(训练好的模型)保存在指定目录中。

图6 保存TensorFlow 模型

保存完模型之后就是转化模型了,如图7 所示,调用TensorFlow Lite 中的TFLiteConverter包中的from_saved_model方法生成converter(模型转化器)的实例,然后调用converter中的convert方法对模型进行转化,并将转换好的文件保存到指定目录。

图7 转化为tflite 模型格式

加载应用模型

由于本例是针对Android 系统的模型部署,因此需要在Android 中引入TensorFlow Lite的依赖。如图8 所示,引入TensorFlow Lite的依赖,同时在aaptOptions 中设置noCompress 为“tflite”意思是对与“tflite”的文件不进行压缩,如果设置压缩Android系统可能无法识别tflite的文件。

图8 项目中引入TensorFlow Lite的依赖

配置好依赖之后,再将转换好的tflite文件拷贝到assets文件下面,如图9所示,等下会加载这个文件执行机器学习的模型。

GitHub MCP 服务器用于人工智能驱动的仓库管理
GitHub MCP 服务器用于人工智能驱动的仓库管理

GitHub官方模型上下文协议(MCP)服务器,将AI代理、助手和聊天机器人直接连接到GitHub平台。通过标准化协议实现自然语言仓库管理、代码搜索、问题分类、PR自动化和CI/CD工作流智能。

下载

图9 添加tflite文件

添加完tflite文件之后,我们会创建Classifier 分类器,用来对“猫狗”图片进行分类。如图10 所示,在Classifer中的init中会对解释器(interpreter)进行初始化,调用loadModuleFlie方法加载tflite文件,同时指定分类标签(labelList),这里的标签就是“cat dog”(猫狗)。

图10 初始化解释器

在创建分类器之后,就是利用猫狗的分类模型对图片进行识别了。也就是在Classifier类中,如图10所示,convertBitmapToByteBuffer方法输入参数是bitmap,这个是我们输入的猫狗的图片,在这个方法中会对其进行转化,特别注意的是在for 循环中对红绿蓝三个通道转化,将转换的结果放入到byteBuffer 中并且返回。recoginzeImage 方法会调用convertBitmapToByteBuffer,并利用解释器interpreter 的run方法执行图片识别的工作,也就是利用机器学习的模型识别猫狗的图片。

图11 对图片进行识别

上面的图形转化过程过于抽象,我们将其具体为图12 所示内容。我们输入的图像是图左上方的395*500的图片,会把imageView中的图片转化为bitmap的形式。由于我们的模型输入需要224*224 的格式,因此需要做一次转换。接着,把像素放入到224*224 的ByteBuffer的数组中保存,最后对RGB(红绿蓝)的像素进行归一化(除以255),作为模型的输入参数。

图12 输入图像的转化过程

到这里机器学习模型的加载和应用就完成,当然还少不了输入的文件和布局。如图13 所示,我们在drawable 文件夹下面存放需要预测的图片(猫狗图片)。然后在layout下面创建activity_image_classifier.xml文件用来构建存放ImageView。

图13 输入图片文件和布局文件

最后,创建ImageClassifierActivity 用来展示图片和响应识别图片的事件。如图14 所示,在initViews方法中绑定每张图片的onclick事件,然后在onclick方法中调用recoginzie Image方法对图片进行识别。

图14 在onclick 中执行图片识别

让我们来看看效果。如图15 所示,当点击对应图片以后会显示“dog”的提示,表示预测结果。

图15 演示效果

回顾整个过程并不复杂,我将TensorFlow lite 部署模型总结为如下几步:

  1.  保存机器学习模型。
  2. 转化模型为tflite格式。
  3.  加载tflite格式的模型。
  4.  利用解释器加载模型。
  5.  输入参数预测结果。

想更进一步学习TensorFlow 模型部署技能的同学,可以去学TensorFlow的官方课程,在中国大学MOOC上注册一个账号,免费学习:​​https://www.php.cn/link/1f5f6ad95cc908a20bb7e30ee28a5958​​

还有谷歌开发者专家做的部署在线讲解和答疑,非常不错,推荐想初步了解TensorFlow 部署功能的同学关注看看 ​​https://www.php.cn/link/e046ede63264b10130007afca077877f​​

结尾

小李听了我对机器学习模型部署的讲解以及了解TensorFlow 部署的过程以后,对部署实操更是跃跃欲试。我觉得用TensorFlow 部署过程逻辑清晰,方法简单易行,对于3-5年经验的开发人员来说容易上手。另外,TensorFlow官方还提供了《TensorFlow入门实操课程》,适合机器学习零基础的新手:​​https://www.php.cn/link/bf2fe6582ed9ead9161a3d6f6b1d6858​​

作者介绍

崔皓,51CTO社区编辑,资深架构师,拥有20年架构经验。曾任惠普技术专家,参与多个机器学习项目,撰写、翻译20多篇机器学习、NLP等热门技术文章。《分布式架构原理与实践》作者。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

人工智能

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2253

5

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.07

3874

5

pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.01

5324

5

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2024.08.01

6917

7

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

2024.11.28

2702

7

js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

5196

8

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.28

1495

5

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.03

1998

5

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

2023.08.17

10723

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WPS AI手册
WPS AI手册

共0课时 | 0人学习

豆包AI手册
豆包AI手册

共0课时 | 0人学习

OpenClaw
OpenClaw

共0课时 | 0人学习