w88优德体育
科技新闻中心
智能运维AIOps关键技术概览

发布人: w88优德体育 来源: w88优德体育平台娱乐 发布时间: 2020-08-11 16:26

  传统运维管理的人工及被动响应方式,已经无法支撑数字化业务灵活、快速的发展,要靠智能运维(AIOps)能力来获得数据分析和决策支持。而从传统ITOM到智能运维的演进过程中,需要一系列关键技术的支撑。本文试图就智能运维落地过程所需关键技术点进行概要说明。

  从智能运维的平台架构来看,可抽象为几个层面:数据采集层、数据汇聚层、数据存储层、建模应用层、分析学习层、应用反馈层。这是一个非常理想的层次划分,但在智能运维实践落地过程中,却存在着诸多坑壑,需要我们正视和解决。

  运维数据的产生和采集来自于ITOM工具集,通常包括:基础服务可用性和性能、网络性能监测与诊断、中间件服务可用性和性能、应用性能管理、系统运行日志管理、IT资产管理、IT服务支持管理等。

  这些基础工具采集的运行状态数据和运行性能数据,需要具备足够存量的数据和数据增量;以及足够的数据维度覆盖度(时间维度、空间维度、系统级维度、应用级维度等)才能进行建模利用。与此同时,运维数据的时效性强、数据源割裂采集的现状、以及如何在后续建模过程中进行数据的高效关联,因此智能运维平台对数据采集层提出以下技术要求:

  数据的增量是迅猛的,或将达到网络的上行极限或磁盘的写入极限,因此对汇聚层的服务自身可用性和吞吐性能要求极高。汇聚层更像“数据湖”,提供元数据更为宽松的数据写入和获取途径、简易的数据清洗任务创建与管理、灵活的数据访问控制和使用行为审计、具备从原始数据的发掘中更便利的进行价值发掘、具备更敏捷的扩展特性等。

  同时,在设计汇聚存储层的建设方案时,需要避免数据泥沼、无法自助建模、无法执行权限管控等困境。在智能运维实践落地时,要由一组大数据业务专家/架构师,明确地为汇聚与存储层设计一系列的能力项,这些能力项不仅要满足“数据湖”的诸多特征,还要具备便捷的开发和实施友好性,降低数据接入与抽取清洗的成本,它应该具备至少以下关键技术能力:

  DODB可方便地进行采集任务的配置和管理,支持数百种数据源,包括日志数据采集、数据库和中间件数据性能数据采集、数十种数据库中表数据采集、数十种数据消息中间件中数据采集等,支持集群部署、中心化配置管理、状态自与高效熔断等能力,支持高可扩展性,同时巧妙的解决了数据泥沼和无法自助建模的困扰。

  在智能运维(AIOps)落地实践中,算法体系的建设是至关重要的一个环节。算法体系建设方面,应从三个角度来去考虑实现思:

  智能分析系统将、决策、执行三个角度落地到智能运维解决方案中,形成发现问题、产生告警事件、算法模式定位问题、根据分析结果解决问题的闭环功能。

  因此,智能分析平台应具备交互式建模功能、算法库、样本库、数据准备、可扩展的底层框架支持、数据分析探索、模型评估、参数及算法搜索、场景模型、实验报告、模型的版本管理、模型部署应用等功能或模块。

  云智慧智能分析平台DOIA(Digital Operation Intelligent Analysis),依托DODB专业运维数据库提供的基础大数据资源,赋予智能运维的能力,包括动态基线、异常检测、根因分析、智能合并、智能故障预测、知识工程等。智能分析平台是产出算法,满足跨平台、多样化的客户现场,从最小单元化部署到大规模集群式部署的可行性方案。

  在智能运维(AIOps)平台落地的实践中,算法和数据的融合,第一步是数据的采集和汇聚,通过前文介绍的关键技术,我们已经获得了质量标准归一化的、经过了提取和转换的、时间/空间/业务维度标记清楚的数据,需要补充的是数据预处理相关的核心要点。

  在数据挖掘中,海量原始数据中存在大量不完整(有缺失值)、不一致或有异常的数据,严重影响到数据挖掘建模的执行效率,甚至可能导致挖掘结果的偏差。数据预处理的目的是提高数据质量,从而提升数据挖掘的质量。方法包括数据清洗、数据集成和转换,以及数据归约。

  通过数据预处理,可以去掉数据中的噪音,纠正不一致;数据集成将数据由多个源合并成一致的数据存储,如数据仓储或数据立方;数据变换(如规范化)也可以使用,例如规范化可以改进涉及距离度量的挖掘算法的精度和有效性;数据规约可以通过合并、删除冗余特征或聚类来压缩数据。这些数据处理技术在数据挖掘之前使用,可以大大提高数据挖掘模式的质量,降低实际挖掘所需要的时间。

  需要注意,有些算法对异常值非常。任何依赖均值/方差的算法都对离群值,因为这些统计量受极值的影响极大。另一方面,一些算法对离群点具有更强的鲁棒性。数据分析中的描述性统计分析认为:当我们面对大量信息的时候,经常会出现数据越多,事实越模糊的情况,因此我们需要对数据进行简化,描述统计学就是用几个关键的数字来描述数据集的整体情况。

  在智能运维(AIOps)算法分析系统中,不同算法对应不同的适配场景,需要根据数据特征模式来选择合适的算法应用。如指标异常算法的应用:针对周期稳定性数据,我们采取动态极限的模型;针对周期不不稳定的数据,采⽤频域分析的模型;针对稳定性的数据采⽤极限阈值判断的模型。通过模型选择的算法,对不同的数据的模型进行适配,达到最优的效果。

  因此,想要以开箱即用的方式、采用某种标准的机器学习算法直接应用,而不考虑业务特征,通常并不可行。

  我们需要首先考虑该组业务指标间的关联性,如果有应用或系统间的调用链或调用拓扑供参考,这是最好不过的。如果没有调用链或拓扑,则需要先根据已知可能的业务相关性,进行曲线波动关联、回归分析等算法分析,获得极限阈值尝试得到匹配,通过一系列的事件归集得到相关性,再对每一次反馈进行适应,尝试自动匹配更为准确的算法和参数,才可能达到期望的异常检测目标。

  智能运维的工程化过程,是一个算法、算力与数据相结合,平台自身与业务系统反馈相结合的复杂过程。在与业务场景结合的前提下,灵活的算力组织、高效的数据同步、可插拔的服务化、模型应用过程中的高精度与高速度,是AI工程化本身的核心。

  智能运维(AIOps)落地的过程中的坑非常多,这是云智慧过去几年大量行业实践得到的真实体验。它对数据平台搭建、数据采集与传输、数据汇聚、存储与建模、数据计算、AI体系化、场景与工程化融合等方面提出了极其苛刻的要求,需要更专业的、更高质量标准的运维数据库,还需要一支强有力的分析、架构和开发团队支撑,才能真正带来生产力的提高。

  特别提醒:本网内容转载自其他,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容您的权益,请及时联系我们,本站将会在24小时内处理完毕。

  7月23日,由爱奇艺自制的古风清爽消暑剧《漂亮书生》正式独家上线,该剧由鞠婧祎、宋威龙、毕雯珺、...

  极光(Aurora Mobile, NASDAQ:JG)发布《“超职季”招聘行业报告—企业篇》,从就业市...

  对于Z世代新青年来说,追逐事业学业成就的同时,与重要的人一同享受闲暇时光获得家庭温暖,也是重要...

  随着国内AIOT技术和互联网技术的不断发展,以电视机为代表的智慧大屏产业从硬件制造业驱动逐步过渡到...

  7月21日-23日,第八届全球云计算大会·中国站(Cloud Connect China)在宁波隆重举行。本次大会...

  7月19日,Too Faced携手天猫超级品牌日,为广大粉丝合力奉献了一场美妆潮流界的 #TooFaced多面派对#,...

  7月22日,德意电器举办了一场别开生面的发布会。打破常规,德意“实在太有料”集成灶新品发...

  近日,全球最大的语音会议INTERSPEECH 2020公布了SdSV声纹识别比赛成绩,网易AI Lab 从众多国际队...

  爱立信官网消息显示,这家供应商已通过与电信签订一项新的多年期合作协议加强了合作关系,...

  7月22日晚,海信空调夏季全球发布会暨战略伙伴云峰会在青岛举行。发布会上,海信新风空调X系产品集...

  2020年7月22日,中国 – 软件定义智能表面交互领域的显通科技今天宣布,联想首款游戏...

  近日,国家发改委等13部门发布了《关于新业态新模式健康发展激活消费市场带动扩大就业意见》(以下简...

  前段时间,三星推出的一款Galaxy Z Flip折叠智能手机备受风靡。由于独特的设计和时尚的配色,一度成...

  昨晚7月22日,者电竞手机正式发布。全球首发骁龙865plus,双X轴线性马达、双全对称扬声器、90W...

  好未来(NYSE:TAL)旗下的主打产品,学而思网校,因为国内新冠疫情的原因,活跃用户量大增。根据极光...

  7月不减肥,8月徒伤悲。最近这一个月,体重却突然噌噌噌的涨上来了。于是下定决定,又要减肥了!锻炼...

  7月22日,第十三届中国商业信息化行业大会在湖南长沙国家会展中心((芒果馆))拉开帷幕。本届大会是继...

  2020中国(西安)电子商务博览会(简称“博览会”)将于10月15日-17日在西安国际会展中心举办...

w88优德体育,w88优德体育平台娱乐,w88优德体育网站,www.dohelps.com
w88优德体育

CopyRight © 浙江 w88优德体育 科技有限公司 版权所有

w88优德体育,w88优德体育平台娱乐,w88优德体育网站,www.dohelps.com 网站地图

地址:浙江省绍兴市上虞区曹娥街 w88优德体育 大楼