您好、欢迎来到现金彩票网!
当前位置:天津时时彩官网 > 倍增 >

需要一些新的存储结构或新的算法去解决这类问题

发布时间:2018-05-29 22:58 来源:未知 编辑:admin

  这是一个车联网的客户,有100万车,每辆车每10秒上传一次,每次1KB,如许一年就有300T数据,六个月以上是数据低频拜候,所以他要做分级存储,把冷数据放到低介质上

  1.分级存储:SSD与SATA的价钱相差良多,在冷数据上,我们建议间接采纳冷存储的体例 ,能够节约500%的成本

  第三层:分布式平安隔离保障层QOS,若是我们做存储计较分手,就意味着底层的三个集群需要布三套,如许每个集群就会有几十台以至几百台的节点,此时存储力是由大师来均派的,这就意味着分布式平安隔离保障层要做好隔离性,引入QOS就意味着会添加延迟,此时会引入一些新的硬件(好比RDMA)去尽可能的减小延迟。

  2.SQL支撑算子下推、schema映照、各类参数调优,高并发scan大表会影响不变性;

  我们也不克不及处理所有的问题,我们只是处理此中大部门的问题。若何找到一个在工程上可以或许处理大部门问题的方案至关主要,应对法子:

  这是一个大数据控公司,它大约有200T+的数据量,将HBase数据 (在线及时大数据存储)作为主数据库,先用HBase做算法锻炼,再用HBase SQL出报表,别的做了一套ECS进行及时查以便与客户之间进行数据互换。

  封神:线年插手阿里,现任阿里云高级手艺专家、架构师,专注于大数据分布式计较、数据库、存储范畴,什么叫大数据时代先后研发上万台Hadoop、ODPS集群,担任阿里YARN、Spark及自主研发内存计较引擎,目前为泛博公共云用户供给专业的云HBase数据库及计较办事。

  假设在北京有三个机房可用区A、B和C,我们会在可用区A中摆设一个热的存储集群,在北京全体区域部一个冷的存储集群,现实上有几个可用区就能够有几个热集群,次要是保障延迟的;冷集群对延迟相对不敏感,能够地区零丁摆设,只需互换机满足冷集群所需的带宽即可。如许的益处是三个区共享一个冷集群,就意味着能够共享库存。

  先离线建好Cube再把数据同步到HBase中,及时数据通过Blink对接进行更新,数据量在可达20T摆布。

锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
Copyright © 2002-2019 现金彩票 版权所有