注册
关闭
区块链大帝

区块链大帝

发布于 2020-06-09 阅读数 2223

Filecoin如何实现大规模离线数据传输?

编译:IPFS原力区

 

Filecoin如何实现大规模离线数据传输?

 

Filecoin为何诞生

 

Filecoin旨在存储世界上最有价值的信息,它基于区块链技术,创造了分布式存储交易市场。区块链技术提供了安全的存储保证,加密资产机制创造了动态的市场。

目前在全球范围内,我们每天都大约产生2.5亿字节的数据,其中一些数据涵盖了人类在科学、数学、艺术、历史和人文科学领域创造的最重要的信息。

然而当处理大量数据时,你就会发现我们很难通过Internet传输这些文件(昂贵且耗时)以进行保管。对于PB级数据集和更大的数据集,最明智的解决方案通常涉及在硬盘上传输数据。

因此,Filecoin想利用协议和项目制造的工具和结构来支持离线数据传输。

 

为什么要离线数据传输

 

决定在线还是离线传输数据,我们需要考虑两个关键因素:费用&时间

举个例子:一个博物馆或图书馆(信息量巨大),希望在分布式web (dweb)上上传、存储和保护它的收藏。

 

  • 费用

线上传输:在当今的云服务中传输PB级数据需要通过多个区域发送数据,这会产生互连费和区域带宽费,如果你选择租用专用线路或考虑重试需求,还会产生额外费用。粗略的成本来看,仅带宽传输2.5 PB的数据就需要花费约140,000美元;如果跨区域传输这些数据,则成本会更高

线下传输:考虑硬盘驱动器本身的成本,服务器级8TB驱动器的价格约为200美元。要传输2.5 PB的数据,你将需要大约315个硬盘驱动器,总计约为63,000美元。尽管你可能需要支付一些额外的运输,进口费用和货币兑换单位成本,但总体算下来成本远低于线上传输!

 

  • 时间

线上传输:以100Mbps的速度传输500TB的数据需要一年多的时间。

线下传输:用硬盘驱动器传输相同的数据仅需花费下载和发送的时间,大概一周之内就可以完成!

归根结底,很明显,在某些情况下,物理传输数据的成本效益更高且速度更快。

 

Filecoin如何支持离线传输

 

当存储较少的数据时,矿工和客户协商交易后,客户通常可以直接在线传输给矿工即可。

当存储大量的数据时,Filecoin的离线数据传输功能使客户可以离线完成数据传输步骤(例如,通过将硬盘从客户端运送到存储矿工),并按预期的顺序进行交易。

Filecoin会通过一个标志告诉客户端不要通过网络传输数据;而客户端会传递一个CID(描述数据的唯一标识符),矿工必须匹配该CID,才能通过交易。这为客户端节点提供了如何设置交易的灵活性,例如,在硬盘传递特定位置给矿工,以供他们用来生成分段CID的数据。

 

Filecoin项目如何支持离线传输

  • Filecoin Discover

该项目旨在激励早期矿工订购和存储装有有价值的开源数据的硬盘,并作为交换,获得额外Filecoin。

这是一种帮助Filecoin成为人类最重要的数据集之家的种子,并使其他人可以访问它的方法,也能扩大我们的知识库并形成新的想法。

  • 存储设备提案

4月,Filecoin提出了一项有关存储设备(类似于AWS Snowball)的提案请求,以实现更快的离线数据传输。

该RFP的目标是构建冗余且安全的低成本硬盘解决方案。矿工可以在设定的期限内租用这些设备,以保持数据传输。客户端可以将数据加载到这些设备上,而矿工则在收到数据后将其卸载到自己的服务器上。

 

离线传输的意义

 

考虑一下海上的一艘潜水艇,它收集了PB级有关太平洋水下生物的信息。当船舶返回陆地时,邮寄这些硬盘驱动器可能更有意义,而不是依靠在线数据传输。

在我们致力于web去中心化的过程中,大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来,EB级的数据传输(例如AWS Snowmobile)是数据传输发展的下一步。

最终,离线数据传输之类的解决方案将使Filecoin成为传统云存储平台的更强大替代品——如果存储成本下降,小企业也将能够节省更多的资金用于雇用或研发。

 

原文链接: https://filecoin.io/blog/offline-data-transfer-for-large-scale-data/

本文链接:https://www.8btc.com/media/607053
转载请注明文章出处

  • 0
区块链大帝
区块链大帝

0 条评论