巨屌 推特 华来科技基于亚马逊云科技构建智能录像机视觉才能处分决策

关节字: [innovate2024， V15NX， 大模子行状， 视觉才能增强， 宠物不雅察员巨屌 推特， 信息得回成果， 多模态实质连结]

本笔墨数: 1400， 阅读完需: 7 分钟

在此次亚马逊云科技更动会议上，华来科技先容了其基于大模子的智能录像机视觉才能处分决策。该处分决策包括5种不同的AI代理，如陪餐助手、宠物不雅察员等，愚弄大模子对录像头捕捉的视频实质进行连结和归来，为用户提供高效的信息得回。华来科技还展示了其V15NX多模态实质连结和生成系统，该系统集成了亚马逊云科技的多种基础组件，可活泼部署大模子推理行状。此外，华来科技还开发了AI代理快速开发平台，便捷居品司理快速创建和考证新的AI代理。在开发经由中，华来科技留意AI合规性，在用户欢跃的情况下使用数据，与亚马逊云科技合营开发负职守的AI。

华来科技建树于2015年，自其时起就与亚马逊云科技缔造了深度的技能合营和相同筹备。该公司专注于基于智能袖珍爱像机构建家庭视觉才能，旨在闲适用户”看得清、看得全、看得懂”的真实需求，提供高性能、直不雅且易用的收集录像头居品和行状。华来科技信服，独一为大模子配备”眼睛”，才能真实看懂寰球和生涯，从而为用户提供更有价值的居品和行状。因此，他们以大模子为基础，以智能代理的神气，对生成式东说念主工智能进行了探索性尝试。

华来科技开发了5个不同的智能代理，每个代理齐有明确的变装定位，影响着大模子的行状边界、口吻以至常识限制。这5个代理辩别是:陪餐小怪兽代理旨在为用户提供豪情价值;姑娘姐代理不错护士宝宝;狗狗不雅察员代理用于不雅察和记载狗狗的四肢;猫咪不雅察员代理不雅察和记载猫咪的四肢，为宠物主东说念主提供宠物健康信息;VOC(Voice of Customer)代理则归来录像头捕捉的移动缠绵，以笔墨神气推送给用户，提升信息得回成果。在传统的录像头系统中，会有一个狡计机视觉算法在录像头端捕捉移动东说念主形或宠物车辆等缠绵并产生报警，该报警通过物联网通说念下发到用户的应用尺度端，用户收到移动报警后需重点开视频不雅看10秒或15秒才能了解发生的事情。而加入大模子才能后，用户的报警视频会被大模子归来成笔墨，以笔墨神气平直推送给用户，用户只需阅读即可分解事件，减少了查抄视频的操作法子，提升了得答信息的成果。

关于心疼宠物的用户，华来科技提供了猫咪不雅察员这一智能代理。该代理愚弄录像头捕捉猫咪在可视边界内的通盘四肢，每天晚上由大模子归来并记载猫咪的四肢，包括进食时间、进食量、饮水次数、是否排便等健康信息，推送给宠物主东说念主。这些对宠物有着深厚关爱和护理的用户频繁会如期带宠物去打疫苗、体检。当宠物主东说念主与宠物不在归拢空间时，他们的合手续护理不错通过家中的录像头以及猫咪不雅察员代理得以终了，确保猫咪的一言一行齐被记载在案。

生成式东说念主工智能让信息得回和护理焦点变得更容易，膨大了用户的视线和提防力边界。在传统的物联网系统中，拓荒端产生的数据通过物联网通说念传输到行状端，行状端字据预置逻辑产生命令下发到拓荒端。而在引入大模子后，行状端会将拓荒端产生的高下文数据和面前数据一同输入大模子进行推理，更好地连结用户的使用场景和需求。

为了更好地愚弄大模子的才能，华来科技开发了V15NX(Wagon Next)多模态实质连结和生成系统。它是一个多模态的实质连结和生成的系统，使用了亚马逊云科技上一些基础的组件。V15NX不错通过三种形态进行大模子推理:平直调用亚马逊云科技的Bedrock API;使用亚马逊云科技的SageMaker部署自有大模子;平直在GPU上部署模子进行推理。当平直使用GPU进行模子推理时，需要非凡开发Kubernetes或其他用于不停GPU的系统，并在GPU推理达到岑岭时进行缩容扩容。V15NX框架的底层是大模子体系，表层是自研的SDK用于调换大模子和小模子如Hugging Face等。无行状架构层使用Lambda和SQS组合提供推理行状。附进还有亚马逊云的基础组件，如日记、存储等。

在概述评估后，华来科技以为亚马逊云科技的Claude 3 Haiku是性价相比高的大模子，使用Bedrock API也不错省去对Kubernetes的开发使命。不同的大模子会有不同的老本，华来科技使用过Claude、Llama等多种模子，但经过相比，Claude 3 Haiku的性价相比佳。

由于用户对智能代理的好评，居品司理提议了开发更多代理的需求。为了快速迭代开发，华来科技开发了Agent快速开发平台和相应的器用链。在该平台上，居品司理不错接受代理在履行经由中需要使用的器用、模子，并编写Prompt完成AI开发使命。平台内置了考证体系，工程师整理了不同的考证集，居品司理不错字据代理的场地接受相宜的考证集进行一键考证。考证通事后，代理就不错在平台上一键发布上线。该平台的架构基于大数据系统，在用户知情欢跃的情况下，用户数据会存储在大数据系统中，用于代理开发和考证。

在引申生成式AI代理的经由中，部分用户挂牵心事会被大模子学习和扫描。为此，华来科技在使用生成式AI开发代理时，坚合手合规操作，留意保护用户心事，独一在用户欢跃并透明的情况下才进行开发，与亚马逊云科技一说念践行负职守的AI理念。

总的来说，华来科技与亚马逊云科技的合营，充分愚弄了大模子和生成式AI的才能，开发出多种智能代理当用于家庭视觉场景，为用户提供高效、贴心的行状体验。同期，华来科技高度紧密心事保护，在开发经由中坚合手合规正当，与亚马逊云科技共同推动负职守的AI发展。

底下是一些演讲现场的精彩片刻：

华来科技专注于智能录像机的家庭视觉才能，提供高性能、直不雅、易用的ipcam居品和行状。

这是一段先容VOC代理的语言，它讲明了传统录像头怎样通过狡计机视觉算法检测移动缠绵并发出警报，用户需要查抄视频了解具体情况。

猫咪不雅察员通过录像头记载宠物四肢，每天归来并推送给主东说念主，包括宠物的饮食和健康信息。

在更动的大模子系统中，录像头数据通过低时延通说念传输到行状端，集会高下文信息进行推理，更好地连结用户场景。

华来科技推出了V15NX多模态实质连结和生成系统，愚弄亚马逊云科技的基础组件，可通过多种形态终了大模子推理。

居品司理在平台中接受器用、模子和编写 prompt，即可快速开发并考证 AI agent，大幅提升开发成果。

猫咪不雅察员愚弄自研小模子和大模子，从视频中索要关节帧、生成笔墨形容和标签，并将通盘资源向量化存储，最终由大模子进行归来。

华来科技与亚马逊云科技深度合营，专注于构建智能录像机的家庭视觉才能。他们开发了五种基于大模子的 agent，如陪餐小怪兽、宠物不雅察员等，为用户提供情怀价值和生涯便利。其中，VOC agent 可将录像头捕捉的视频实质归来为笔墨推送给用户，提升信息得回成果。宠物不雅察员则可记载宠物四肢并每晚推送健康信息。

华来科技开发了多模态实质连结和生成系统 V15NX，愚弄亚马逊云科技的基础组件，赞助平直调用 Bedrock API、使用 SageMaker 部署模子或 GPU 推理。他们还开发了 agent 快速开发平台，居品司理可在其中接受模子、编写 prompt 并考证发布 agent。在开发经由中，他们留意合规性，在用户欢跃的情况下使用数据，与亚马逊云科技一说念作念有职守的 AI。

华来科技通过与亚马逊云科技的合营，充分愚弄了大模子和云技能，为用户提供了更动的视觉智能处分决策，提升了生涯质地和使命成果。他们的实际展示了生成式 AI 在家庭视觉限制的庞杂后劲，并敕令有职守地开发和使用 AI 技能。

亚马逊云科技（Amazon Web Services）是人人云狡计的始创者和引颈者。提供200多类闲居而深切的云行状巨屌 推特，行状人人245个国度和地区的数百万客户。亚马逊云科技远程于成为企业构建和应用生成式AI的首选，通过生成式AI技能栈，提供用于模子历练和推理的基础门径行状、构建生成式AI应用的大模子等器用、以及开箱即用的生成式AI应用。深耕土产货、连结人人 – 在中国，亚马逊云科技通过安全、结识、真实赖的云行状，助力中国企业加快数字化转型和更动，并深度参与人人化市集。