～技术宅真可怕～#1 - 2018-11-28 04:51
完全没有 (就是没有)
很多人都喜欢弄一个大容量的硬盘存储自己下载的资源。这样做的问题一是资源利用率低，很多资源会被重复存储成千上万次，每个人都存储不了多少资源。二是可靠性低，硬盘坏了所有资源就都丢了。
所以就需要共享资源来提高效率和可靠性。
传统BT共享资源的缺陷一是会有人只下载不上传，造成速度慢。二是资源存活时间短，过一段时间资源就会没种死掉。
还有就是用百度网盘存储和分享资源。百度网盘虽然免费但是中心化，存储资源越来越不安全，随时有可能把资源给拉黑禁掉。
再有就是收费的类似115和迅雷离线这样的服务。虽然因为收费比百度的速度快和容量大，但是因为仍然是中心化的，所以资源被屏蔽也是常有的事。而且价格也是越来越贵。
所以有没有可能用P2P分布式存储来建一个共享存储网盘来解决这些问题呢？
以前想弄可能比较困难，因为参与进共享的用户可能不贡献带宽和存储，而系统又没法验证。不过近来对于资源存储和带宽的验证算法有了不少突破，所以为实现这样的系统提供了可能性。
比如现在最知名的就是Filecoin项目了，用户存储资源分享带宽可以获得filecoin，下载资源消耗filecoin。不过Filecoin现在还处于开发阶段，预计上线时间是2019年下半年。
还有就是已经运行了几年的Storj了。Storj最近推出了V3版的系统升级，要解决以前系统效率不高的问题。V3版预计2019年初上线。
最近又有一个新项目出现了，PPLive原先团队搞了个PPIO，也是类似的分布存储技术，预计年底上线。
所以基于这些分布存储系统就可以建一个共享网盘了。
原理就是建一个存储账号，大家共同为这个账号充资源token。要获得资源token可以通过共享自己的硬盘和带宽来实现。这样大家就可以往这个共享存储账号里存储和分享自己的资源了。好处是这个共享网盘可以很大，比起自己单独存储那是大了几个数量级，所以一些冷门和年代久的资源也不容易丢失。需要用资源了可以随时下载，甚至可以直接在线观看。如果有用户不想共享硬盘，那么也可以直接购买别人的资源token来加入共享网盘。
理论上来说，总的共享网盘的大小为每个用户共享出来的硬盘大小之和的1/2或者1/3，因为会有系统冗余来提高数据可靠性。这样一千个用户每个人共享1T硬盘就是500T的容量，一万个用户就是5PB的容量。
当然还需要一些细节规则来决定到底优先保存哪些资源，因为容量再大也总是有限的。比如可以靠用户打分来优先保存得分高的资源。
等年底PPIO上线后准备先试一下，等之后Storj和Filecoin上线后可以比较一下哪个好用。
之后就可以搞个开源项目建个共享网盘了。
所以就需要共享资源来提高效率和可靠性。
传统BT共享资源的缺陷一是会有人只下载不上传，造成速度慢。二是资源存活时间短，过一段时间资源就会没种死掉。
还有就是用百度网盘存储和分享资源。百度网盘虽然免费但是中心化，存储资源越来越不安全，随时有可能把资源给拉黑禁掉。
再有就是收费的类似115和迅雷离线这样的服务。虽然因为收费比百度的速度快和容量大，但是因为仍然是中心化的，所以资源被屏蔽也是常有的事。而且价格也是越来越贵。
所以有没有可能用P2P分布式存储来建一个共享存储网盘来解决这些问题呢？
以前想弄可能比较困难，因为参与进共享的用户可能不贡献带宽和存储，而系统又没法验证。不过近来对于资源存储和带宽的验证算法有了不少突破，所以为实现这样的系统提供了可能性。
比如现在最知名的就是Filecoin项目了，用户存储资源分享带宽可以获得filecoin，下载资源消耗filecoin。不过Filecoin现在还处于开发阶段，预计上线时间是2019年下半年。
还有就是已经运行了几年的Storj了。Storj最近推出了V3版的系统升级，要解决以前系统效率不高的问题。V3版预计2019年初上线。
最近又有一个新项目出现了，PPLive原先团队搞了个PPIO，也是类似的分布存储技术，预计年底上线。
所以基于这些分布存储系统就可以建一个共享网盘了。
原理就是建一个存储账号，大家共同为这个账号充资源token。要获得资源token可以通过共享自己的硬盘和带宽来实现。这样大家就可以往这个共享存储账号里存储和分享自己的资源了。好处是这个共享网盘可以很大，比起自己单独存储那是大了几个数量级，所以一些冷门和年代久的资源也不容易丢失。需要用资源了可以随时下载，甚至可以直接在线观看。如果有用户不想共享硬盘，那么也可以直接购买别人的资源token来加入共享网盘。
理论上来说，总的共享网盘的大小为每个用户共享出来的硬盘大小之和的1/2或者1/3，因为会有系统冗余来提高数据可靠性。这样一千个用户每个人共享1T硬盘就是500T的容量，一万个用户就是5PB的容量。
当然还需要一些细节规则来决定到底优先保存哪些资源，因为容量再大也总是有限的。比如可以靠用户打分来优先保存得分高的资源。
等年底PPIO上线后准备先试一下，等之后Storj和Filecoin上线后可以比较一下哪个好用。
之后就可以搞个开源项目建个共享网盘了。
为了解决IPFS的问题，其开发团队才在IPFS的基础上进一步的研发了Filecoin技术。
首先是流量和存储的证明非常简陋，容易作假，所以要靠人为干预处理，比如对异常账号和IP封号等。也没法开放注册，否则作弊就没成本了，注册还要担保。新的流量和存储证明算法不用人为干预也能运行的很好。
其次，PT的存储重复的程度还是很高的，热门种子几乎每个人都保存一份。而冷门种子也经常面临断种的危机。
所以可以把这看成加强版的PT吧。
使用分布式的技术确实比较麻烦，门槛高，所以受众小。
这次的想法即使弄出来了，估计最后也就是小众的几个人自己用用。
细节可以看看这两个文章
https://zhuanlan.zhihu.com/p/50839171
https://storj.io/blog/2018/11/re ... for-fun-and-profit/
为什么就不能存科研论文和开源数据呢？
PT的系统存在很大的缺陷，所以才需要新的技术来解决问题。
目前根据那些分布存储项目的推算，分布存储的成本大概为中心存储的三分之一，不过实际情况还得等具体跑起来了才知道。如果比115还要高那就没有存在的价值了。
数据可靠性的问题可以用算法来解决。下完就跑的人用收益算法来解决。
用户比百度这种公司更容易受相关法规影响。可能明天出台规定传播盗版等非法信息举报有奖，后天用户就能损失一大半……单靠纠错码之类的玩意还是不可靠。
相信算法还是比相信人要可靠。
算法不是万能，钱总得有人出，东西总得有地方装。用户不是说每天崩溃5%这么简单，就一个谣言估计能崩溃一大半。
更何况24小时开机的用户是极少数，就连让用户往网盘搬东西都很困难。克服上述困难的代价就注定了这些资源不值得利用起来。
各取所需，有钱的出钱有力的出力。
至于所谓谣言，因为底层系统是一个全球网络，所以在之上构建的系统是没有那么脆弱的。
总之最后到底怎么样，只有试了才知道。至少比PT要完善和健壮的多。
说到底，还是没有在成本上给出一个可行性的论证。让用户买企业盘，自组NAS，还要去维护，怎么看都不合算。实际想存活下来还是非常困难，过于小众是没有办法存活的。
甚至不会比私自搭建的FTP服务器更有竞争力。
至于具体成本多少，等出来了试试就知道了。比FTP都不如是不可能的。
3M上传一个月就有1T的流量。
话说国内也太坑爹了吧，接近100：1的下行上行比例
不过企业专线就坑爹了，我们单位用的10Mbps下行，100M上行一年4Wrmb
（感觉像是网络流算法的领域）
用这个软件没法开发类似PT的大规模资源分享和下载服务。
所以鱼与熊掌不可兼得，自己根据应用平衡就好。
PT的那些缺陷当然要全克服才好，新技术有新的优势，杜绝作弊的可能。
不想把项目弄太大，自己弄着玩的，就不去pt站推广了。
u2有定期考核吗？现在没太多精力养PT账号了，没有考核的话就太好了。
u2的技术讨论氛围蛮好，保种几十T的硬盘帝也不少，刷子也特别多。
楼主需要的话私我邮箱。
BitTorrent Sync的特点决定了它的局限性很大。
1T硬盘
3M上传带宽（大概每月1T上传数据量）
95%以上的在线率
不用一定要购买，自己贡献存储和带宽就有奖励。
可以都拿来做做实验，看看哪个好用。
pd有些接近，但是效率不高，毕竟还要混淆流量。
存储是底层，分发是基于存储层上的另一层应用，比存储难度小很多。