Android端将小文件上传到asp.net服务器

一个将大文件分割秤多个小文件的小例子。 有此类需求的朋友可以参考。 使用VS2010编译。

Hadoop的设计初衷是为了存储和分析大数据，其最擅长处理的是大数据集。但是在实际应用中，却存在着大量的小文件。一般情况下有四种处理海量小文件的方法，分别为默认输入格式TextInputFormat、为处理小文件而设计的CombineFileInputFormat输入格式、SequenceFile技术以及Harballing技术。为了比较在相同的Hadoop分布式环境下这四种技术处理大量小文件时的性能，选用了典型的数据集，利用词频统计程序，来比较四种小文件处理技术的性能差异。实验研究表明，在不同需求下处理大量小文件的时候，选用适当的处理方法能够在很大程度上提高大量小文件的处理效率。

此文档详细介绍了SEAWEEDFS小文件存储方案在制造企业MES系统中详细实现步骤，且已经在生产环境中实际应用，特别适合制造企业IT部门参考来优化MES系统的附件或小文件存储方案

解决DiskGenius专业免费版只能恢复格式化后的小文件（几KB-几M），不能恢复大文件问题！ 1. 支持分区误删，或全盘合并或格式化导致重要文件丢失； 2. 支持FAT12、FAT16、FAT32、NTFS分区误格式化后的文件恢复。成功率100%； 3. diskgenius增强的已丢失分区恢复(重建分区表)功能，恢复过程中，可即时显示搜索到的分区参数及分区内的文件。搜索完成后，可在不保存分区表的情况下恢复分区内的文件；

自动生成指定大小的文件，速度快 ----------------------------------------------------------------- Version: 2.0 ----------------------------------------------------------------- 用法: AutoCreateFile.py [-h] [-KB size] [-MB size] [-GB size] -h 显示本帮助内容 -KB size 在当前目录，以KB为单位，创建指定大小的文件 -MB size 在当前目录，以MB为单位，创建指定大小的文件 -GB size 在当前目录，以GB为单位，创建指定大小的文件

脚本用于测试磁盘处理小文件的效率。 会在/data01/filesystemtest/ 目录创建TEST_CASE 指定的(目录数量、文件数量)，默认每个文件6K字节，可以生成多组case 一起测试，对比每次的结果。 需要注意脚本执行完成后不会清理使用的文件，请自行手动清理。 有python 环境即可，兼容Windows、lniux

Java 对现有的大文件按文件大小或是按生成日期进行分割

这是一个C#编写的，基于TCP实现的文件传输程序，包含一个客户端和一个服务端能实现小文件的传输，注意我的代码中设置的文件长度较小所以只能传输小文件。对于大文件的传输可以将一个文件分割为若干份，分别传输然后再合并起来，大家可以自己实现。

在Spark SQL执行etl时候会有最终结果大小只有几百k，但是小文件一个分区有上千的情况。危害： HDFS有最大文件数限制 浪费磁盘资源（可能存在空文件） Hive中进行统计，计算的时候，会产生很多个map，影响计算的速度 方法一：通过spark的coalesce()方法和repartition()方法 val rdd2 = rdd1.coalesce(8, true) （true表示是否shuffle） val rdd3 = rdd1.repartition(8) 说明：   coalesce：coalesce()方法的作用是返回指定一个新的指定分区的Rdd，如果是生成一个窄依赖的结果