搜索
 

大案牍术很神秘吗?成都大数据工程师为你解密

2020年10月09日 10阅读 来源:四川新闻网 2019/09/17




原标题:【新言职】大案牍术很神秘?成都大数据工程师为你解密

  曹缇

  曲书磊

  《长安十二时辰》里玄妙神秘的“大案牍术”是不是很高大上呀?穿越千年之后的今天,真的有一群人专门从业于 “大案牍术”,他们就是“大数据工程技术人员”。

  四川省委十一届三次全会作出构建具有四川特色优势的“5+1”现代产业体系的重大部署,提出着力将电子信息、装备制造、食品饮料、先进材料、能源化工打造成主营业务超万亿元的支柱产业,大力发展数字经济。

  今年8月,四川省人民政府出台《关于加快推进数字经济发展的指导意见》指出,做大做强大数据产业,努力建成全国重要的大数据生态建设高地、大数据研发创新高地、大数据示范应用高地和大数据人才集聚高地。以“数字产业化、产业数字化、数字化治理”为发展主线,加快推进数字经济发展,为推动治蜀兴川再上新台阶提供强力支撑。

  几年前,“大数据”还只是一个模糊的概念,如今它已经无处不在,并创造出庞大的想象空间。随着大数据的广泛运用,这个行业也越来越受到关注。今年4月,在人社部确定的13个新职业中,“大数据工程技术人员”不负所望的出现在其中。

  数据分析显示,到2020年,四川大数据产值规模有望突破1000亿元。大数据究竟是什么?数据怎么样才算大数据?大数据到底大在哪?它又在怎样影响我们的日常工作和生活?四川的大数据发展进程如何?日前,四川新闻网记者采访到了银行业数据分析挖掘高级工程师曹缇、成都大数据产业联盟秘书长周远波、CDA数据分析(成都)研究院院长曲书磊,他们将带我们去了解大数据背后的故事,以及成都大数据产业的发展情况。

  数据“大”到需要用新的技术手段

  随行业发展衍生新职业——“大数据工程技术人员”

  在人社部“大数据工程技术人员”新职业信息中,将其成定义为从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员。主要工作任务包括研究和开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等有关技术;研究、应用大数据平台体系架构、技术和标准;大数据采集、清洗、建模与分析;监控、管理和保障大数据安全等多方面。

  什么叫大数据?百度百科对大数据的解释是:大数据(IT行业术语)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点(IBM提出)是:Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。

  “我自己的理解,大数据,顾名思义关键就是一个‘大’。”曹缇介绍,大数据模型与传统数据模型很大的一个区别在于,大数据是大到用传统手段无法很好去分析,需要用一种新的技术手段,这种新的技术手段之一就是分布式计算。他举例,去超市买东西,几样加起来多少钱,这个算法很简单,这就只是传统数据而已,并非大数据。

  “大数据因为数量大,所以不强调绝对精确性,只要精确度能够保证稳定的获得收益。”曹缇举例银行贷款,“比如客户贷款,银行判定要不要贷,通过大数据的分析看将来会不会成为坏账,如果你多半会成为坏账,那就不贷给你,如果你风险比较小,就贷。但再好的风控不能,也没必要确保每一笔贷出去的款,都不会成为坏账。”

  成都大数据企业赴国外考察交流(图由成都大数据产业联盟提供)

  周远波(图由成都大数据产业联盟提供)

  大数据工程流程严密

  数据层层加工 存数据讲究章法

  曹缇认为,在一个企业中大数据的应用,一般可以分为三类,“以银行为例,一类是风控类,比如对银行贷款业务进行风险预判;一类是精准营销类,比如针对某一客群精准推荐产品或者服务;一类是内部管理类,比如柜员工作效率考核和岗位调动等应用。”

  “我工作中很大一部分,都会涉及到大数据工程技术。”曹缇向四川新闻网记者介绍大数据工程技术人员的日常工作内容,“比如一个企业想应用大数据,首先要把设备采购回来,然后把数据存进去。但存的时候要讲究章法,不能乱存,首先得有调度规则,然后要有存储规则,不然空间利用率不高。类似于仓库存货,你得有规则的堆好,不然放的就少,取的时候还不好找。”

  曹缇解释,这就涉及数据加工的几个层面,“数据进来之后,首先是原始的样子,一般叫T层,然后T层数据再往上走变成O层,之后就出现了模型层的数据,模型层再往上走,就是C层也叫做共性加工层,再往上走就是D层应用层,就是我们平常看到的各类报表。就这样不断用下一层的数据,作为原料加工上一层数据,才能保证存储的数据都能高效利用。”

  举例银行线上贷款

  几秒判断的背后 是一套复杂的大数据模型

  曹缇说,大数据的应用对客户来说非常快捷,以银行线上贷款举例,银行需在几秒内判断能不能贷款给某个人,外行看起来可能觉得很简单,但其实背后有一套复杂的大数据模型,“模型就牵涉到训练和应用。

  “银行的系统环境有划分,一般包括开发、测试和生产三份隔离的环境。”曹缇进一步阐释,比如想要做一个APP或上线一项功能,“首先需要在开发环境做开发,建立模型,对模型进行训练,然后在测试环境下去进行测试,反复测试没有问题之后,并经过严格的安全性保障后才能上线到生产环境,之后才是大众能接触到的应用。”

  “比如一条贷款申请的消息进来了,经过客户授权同意后,各类信息数据就开始进入到模型中。因为之前模型已经训练好了,就按照之前设计好的规则来判断,最后会有一个得分。分越高,你的资质越好,银行就会根据得分情况判断是否贷款给申请者,贷多少。”曹缇介绍,其中也有一些规则可以一票否决,“比如你在其他银行就有贷款逾期,或者其他严重的征信问题,就能贷款的几率就非常小了。”

  大数据产业发展潜力巨大

  成都对大数据人才的需求供不应求

  曹缇坦言,自己并非一开始就从事的大数据相关工作。电子科技大学金融学毕业的他,曾在银行做过系统录入员。也正是得益于那段时间的数据信息接触,曹缇的专业方向逐渐清晰。“之后做的更多的就是数据挖掘和数据分析。”曹缇目前就职联创智融公司,在四川农信项目中担任分析挖掘组、关系图谱组组长。他说,成都的大数据环境氛围很好,“最直观的两点感受,就是做数据分析的公司越来越多,从业人员越来越多。”

  曹缇认为,如果说传统的制造业、零售业、通信、医疗等是一阶行业的话,金融、IT、互联网则是二阶行业,二阶行业即指能够广泛和一阶行业产生业务关系的行业。而大数据工程则是三阶行业,因为它能够广泛地和几乎所有一阶、二阶行业产生业务关系,前景不可限量。

  和曹缇一样看好成都大数据发展环境的,还有CDA数据分析(成都)研究院院长、CDA数据分析师西南市场负责人曲书磊。“成都CDA数据分析师的市场非常广阔,企业的需求非常大。”曲书磊介绍,该研究院主要专注于大数据、人工智能等领域的人才培养,目前CDA数据分析师认证已经完成了全球十多个国家和地区的注册,国内采取全国统考的形式,每年考试两次,认证等级分为三级, “随着大数据行业的快速发展,成都对大数据的人才需求将越来越大,目前还是供不应求的状态。”

  到2020年四川大数据产值规模将突破1000亿元

  建议多角度推动大数据高质量发展

  2016年7月,成都大数据产业联盟成立,主管单位是成都市新经济委,该联盟在民政注册,目前已发展有会员单位近300家。今年7月,四川省大数据中心应运而生,该中心是四川省省级机构改革中新组建的省政府直属正厅级事业单位。四川省大数据产业经历了从无到有,从小到大的过程。目前,大数据已在各级党政机关、通信、金融、交通、医疗、教育、食品安全、社会保障等行业得到广泛应用。

  由四川省发展改革委指导、四川省大数据发展研究会牵头编制的《四川省大数据发展蓝皮书(2017)》指出,到2020年,四川大数据产值规模将突破1000亿元,届时四川省大数据产业收入总量约占全国大数据产业总量的10%。2018年中国大数据发展指数报告指出,成都大数据发展指数仅次于深圳、北京、上海、杭州等城市,位列全国第五。成都已成为中西部地区乃至全国大数据产业发展的领军城市,在全国大数据产业版图上占据了举足轻重的地位。

  “四川大数据发展在数据资源、基础设施、政策环境、科教实力、人才资源、产业规模及发展势头等方面都具有较强的比较优势,逐渐形成了以行业应用为导向、大数据技术为引擎、云计算为基础支撑的大数据产业生态系统。”成都大数据产业联盟秘书长周远波非常看好四川大数据产业的发展,他介绍,相较于全国其他城市而言,成都的创业氛围、人才政策、高校资源等优势,都吸引了大量的大数据企业和人才留在成都。

  但成都大数据的发展也存在一些需要提升的地方,对此,周远波建议,四川构建大数据产业生态圈,在交通、医疗、金融、教育、农业等领域建设专业大数据功能型平台,聚集人才、技术、数据、市场、资本等产业要素,形成产业加速器,创新综合性解决方案推广应用模式;同时,制定产业规划和建立考核制度,推动数据资源开放共享,培养本土潜力企业和引进行业领先企业,“从更大范围,多角度推进四川大数据产业的高质量发展。”

  背景延伸:

  四川是全国八大通信枢纽之一,也是超大型数据中心的布点,在全国率先建成“全光网省”和首个“千兆宽带城市群”,建成成都国家级互联网骨干直联点,成都获得首批三大运营商5G规模组网试点城市资格。截至2018年10月底,互联网省际出口总带宽达到22.9Tbps,建成4G基站19.8万个、4G用户规模达6573万户;全省行政村光纤通达率达98%、4G覆盖率超93%;已开通窄带物联网(NB-IoT)基站4.1万个,基本实现城区和乡镇的连续覆盖,物联网终端用户规模达到2443万户,全国排名第8;IPTV用户达1384万户,占全国的9.1%,用户规模居全国第一。(记者 李丹 文骥)









(责编:罗昱、高红霞)



热点文章推荐

相关文章推荐