我在M2公司做架构之大数据量如何存储

面对大数据量几百万甚至几千万的数据,该如何顺利且不影响服务的可用性成功存储呢?

方案如下

  • 1.Hbase;
  • 2.TiDB;
  • 3.MongoDB;
  • 4.Linux大存储容类服务器(可将数据以特定格式存入服务器对应的文件夹中,例如txt格式文件等);
  • 5.Cassandra;
  • 6.Kudu。

除此之外如果不像用中间件处理,可采用第四种方案自建大数据存储服务系统,自建的思路无非是如下:

  • 1.Linux存储系统的容量一定要大,最好1T;
  • 2.Linux存储系统的代理服务性能一定要好(主要指通信),可以用Go或者Python写一个即可,都不难。
文章目录
  1. 方案如下