一、“大数据”时代下如何处理数据？
你好，大数据是指巨量的数据，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
当下，大数据技术作为新兴技术被许多互联网大厂所需，以华为为例。
1、华为云推出大数据稽核方案解决偷逃费
很多朋友可能发现,部分省界收费站变少而etc通道在增加,高速公路的出行体验比以前更加顺畅。然而,在公众体验节省费用、便捷通行等利好的同时,高速公路的管理运营单位却饱受新情况的困扰。
部分车主偷逃费方式多样化,包括换卡逃费、车头挂车分离逃费、倒换电子标签、etc车道跟车逃费等。同时偷逃费行为向专业化、团伙化演变,给高速运营单位带来大量经济损失和严峻挑战。
目前收费卡口仍主要使用传统稽核方法。传统方式通常基于初步的车辆行驶异常信息作筛查依据,如频繁进出站等,却难以发现大量逃费,存在的主要问题是:
大数据分析应用较少,缺乏数据深度分析
基本以收费数据为主,视频/图片等辅助证据不足
依赖大量人工进行稽核,效率低下
针对传统稽核方法的不足之处,华为云正式推出高速公路大数据稽核解决方案。
该方案基于华为云业界领先的云数字平台,结合华为在高速公路行业的深厚积淀,利用大数据、人工智能、云计算等技术,实现了海量通行记录数据的偷逃费自动分析,并结合门架摄像头抓拍的图像记录实现偷逃费车辆的精准识别,保障高速业主收益。
华为云大数据稽核解决方案包括三大平台:
ai边缘稽核平台,基于华为自研鲲鹏920和升腾310芯片+智能边缘平台ief edge架构,实现30+车辆特征和上万种车型的识别、稽核场景的实时处理,车辆通行照片的存储;
大数据稽核平台,主要包括基础设施层、平台层、使能层、应用层:
基础设施层:提供计算、存储、网络等基础资源
平台层:提供智能数据湖平台dayu、ai开发平台modelarts、边缘管理平台ief、数据库及中间件等通用平台及组件
使能层:提供车辆识别算法、以图搜图、路径还原等基础能力
应用层:包括稽核系统、客服系统等其他公共服务类系统,其中稽核系统主要实现偷逃费模型、通行记录分析、证据链管理、信用管理、黑白名单管理等稽核相关功能
车辆特征训练开发平台,实现新的车型识别和车辆特征识别能力的持续提升,车辆异常通行照片的持久存储;其中modelarts是一站式ai训练开发平台,提供车型和车辆特征的海量数据预处理及半自动化标注、大规模分布式训练、车辆识别模型自动化生成、云边按需部署模型等能力。
2、华为大数据工程师
华为云致力于为客户提供高度可信的业务运行环境,易获取、按需使用、弹性扩展的云安全服务,帮助客户保护云上的应用系统和重要数据,华为云已获得了csa star、iso安全体系等20多个安全合规认证,并在2018年就高分通过了等保四级测评。
目前，包括腾讯、阿里等互联网头部企业在内的大厂，均在积极使用大数据、云计算等技术为产品赋能。
例如最早使用大数据技术实现音乐推荐个性化的网易云音乐、在电商平台普遍使用的商品推荐功能等等，均是基于大数据技术运用的代表，可以说大数据、云计算仍是当下的红利岗位。。
希望我的回答对你有所帮助！
二、如何利用大数据来处理网络安全攻击
只能是利用大数据技术，去查看，网络上哪个方面，容易被黑客攻击，哪些是事故的多发区。从而针对性的，进行系统，软件的防护。
三、网络安全主要做什么？
网络安全工程师都是坐着一些日常的工作，比如说以下几类日常工作：
1、网络安全技术方面
包括端口、服务漏洞扫描、程序漏洞分析检测、权限管理、入侵和攻击分析追踪、网站渗透、病毒木马防范等。
2、对计算机系统有深入的了解，掌握常用的编程语言
例如windows及企业常用的linux系统，编程语言如：java、php 、python、c、c++。编程语言理论上来说是多多益善， 如果精力不足，至少要会常用的。
3、了解主流网网络安全产品
比如防火墙、入侵检测系统、扫描仪等等。
4、安全协议方面
这部分内容很多和web安全是相通的。熟悉sql 注入原理和手工检测、熟悉内存缓冲区溢出原理和防范措施、熟悉信息存储和传输安全、熟悉数据包结构、熟悉ddos攻击类型和原理有一定的ddos 攻防经验，熟悉iis安全设置、熟悉ipsec、组策略等系统安全设置。
5、机器学习算法
机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。
6、人工智能
人工智能是研究使计算机来模拟人的某些思维过程和智能行为的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。人工智能将涉及到计算机科学、心理学、哲学和语言学等学科。可以说几乎是自然科学和社会科学的所有学科，其范围已远远超出了计算机科学的范畴，人工智能与思维科学的关系是实践和理论的关系，人工智能是处于思维科学的技术应用层次，是它的一个应用分支。
7、大数据分析
大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个v， 数据量大(volume)、速度快(velocity)、类型多(variety)、价值（value）。大数据作为时下最火热的it行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
8、逆向汇编
汇编语言是一切程序的起点和终点，毕竟所有的高级语言都是建立在汇编基础之上的。在许多高级语言中我们都需要相对明确的语法，但是在汇编中，我们会使用一些单词缩写和数字来表达程序。
