大數據儲存技術

大數據儲存技術是管理和保存大量非結構化或半結構化信息的技術集合。這些信息通常來自不同來源，如社交媒體、傳感器和日志文件。

主要技術包括：

1. 分布式文件系統 (DFS)

• 將數據分散存儲在多個服務器上，以提高可用性和可擴展性。
• hdfs (hadoop分布式文件系統) 是 DFS 的流行實現。

2. nosql 數據庫

• 專為處理大量非結構化數據而設計，具有高可擴展性和靈活性的特點。
• mongodb、Cassandra 和 DynamoDB 是 nosql 數據庫的示例。

3. 云存儲

• 利用云計算平臺提供的低成本、可擴展的存儲服務。
• Amazon S3、Google Cloud Storage 和 microsoft azure Storage 是云存儲的流行提供商。

4. 對象存儲

• 將數據存儲為不可變的對象，具有元數據標簽用于搜索和管理。
• Amazon Elastic Block Store (EBS) 和 Google Cloud Object Storage 是對象存儲的示例。

5. 湖倉 (Data Lakehouse)

• 結合了數據倉庫和數據湖的特點，提供結構化的數據管理和分析能力。
• azure Synapse Analytics 和 AWS Lake formation 是湖倉的示例。

其他關鍵技術：

• 文件格式 (如 Parquet、ORC)： 優化大數據處理的壓縮和列式文件格式。
• 元數據管理 (如 hive、spark sql)： 管理大數據資產的元數據，以促進數據發現和使用。
• 數據分片： 將大數據集劃分成較小的塊，以提高并發性和查詢性能。