图片迟迟加载不了、一片马赛克?谷歌开源模型优先显示图像受关注部分

轻浩君_2631

轻浩君_2631

2023-04-13

1177人浏览

转载

当观察一副图像时,你会先注意图像的哪些内容,或者说图像中的哪些区域会首先吸引你的注意力,机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中,他们开源的注意力中心模型(attention center model)可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。

举例来说,下图是注意力中心模型的一些预测示例,其中绿点为预测的图像的注意力中心点。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

图片

图像来自 kodak 图像数据集:http://r0k.us/graphics/kodak/

注意力中心模型大小为 2MB,格式为 TensorFlow Lite。它以 RGB 图像作为输入,并输出一个 2D 点,该点是图像上的预测注意力中心点。

为了训练模型来预测注意力中心,首先需要一些来自注意力中心的真实数据。给定一张图像,一些注意力点可以通过眼动仪收集,或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波,只保留最初的注意力点,然后应用空间滤波去除噪声。最后,计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。

图片

项目地址:https://github.com/google/attention-center

注意力中心模型架构

注意力中心模型是一个深度神经网络,以一张图像为输入,使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息,例如,浅层通常包含较低层次的信息,如强度 / 颜色 / 纹理,而更深层次通常包含更高、更语义的信息,如形状 / 目标。

注意中心预测采用卷积、反卷积调整算子,并结合聚合和 sigmoid 函数,生成注意力中心的权重图。然后一个算子(在例子中是爱因斯坦求和算子)可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。

图片

此外 JPEG XL 是一种新的图像格式,允许用户在对图像编码时,确保有趣的部分率先显示。这样做的好处是,当用户在网上浏览图像时,图像中吸引人的部分可以率先显示出来,也就是用户首先看到的部分,在理想情况下,一旦用户看向图片其余地方时,图像的其他部分也已经就位并已解码。

在 JPEG XL 中,图像通常被划分为大小为 256 x 256 的矩阵, JPEG XL 编码器将在图像中选择一个起始组,然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前,JPEG XL 还是一个实验性的产物,在 chrome://flags 中通过搜索 jxl 即可启用。

要想了解渐进式加载 JPEG XL 图像的效果,可以访问网址进行查看:

canvas图片平铺马赛克图特效
canvas图片平铺马赛克图特效

canvas图片平铺马赛克图特效

下载

https://google.github.io/attention-center/

相关文章

谷歌浏览器
谷歌浏览器

谷歌浏览器Google Chrome是一款可让您更快速、轻松且安全地使用网络的浏览器。Google Chrome的设计超级简洁,使用起来得心应手。这里提供了谷歌浏览器纯净安装包,有需要的小伙伴快来保存下载体验吧!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

2026.11.02

0

14

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

2026.11.02

0

17

Uvicorn安装配置教程
Uvicorn安装配置教程

本专题汇总了Uvicorn的安装配置教程与部署指南,涵盖通过pip安装Uvicorn、启动FastAPI/Starlette应用、开发模式热重载(--reload)及多进程工作模式配置等核心操作。同时整理了结合Gunicorn的生产部署方案、HTTPS与反向代理配置及性能调优技巧,助你快速完成Uvicorn服务的安装与上线部署。

2026.11.02

0

17

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

100

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

80

15

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

2026.10.28

240

10

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

2026.10.22

140

11

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

2026.10.22

140

10

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

2026.10.22

100

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 新特性与架构变化
Conan 2 新特性与架构变化

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

Conan 参考手册
Conan 参考手册

共0课时 | 0人学习