linux下文件分割可以通过split命令来实现,可以将一个大文件拆分成指定大小的多个文件,并且拆分速度非常的快,可以指定按行数分割和安大小分割两种模式。Linux下文件合并可以通过cat命令来实现,非常简单。
在Linux下用split进行文件分割
先看下帮助文档
Usage: split [OPTION]... [INPUT [PREFIX]]
Output fixed-size pieces of INPUT to PREFIXaa, PREFIXab, ...; default
size is 1000 lines, and default PREFIX is `x'. With no INPUT, or when INPUT
is -, read standard input.
Mandatory arguments to long options are mandatory for short options too.
-a, --suffix-length=N use suffixes of length N (default 2) 指定拆分文件的后缀长度
-b, --bytes=SIZE put SIZE bytes per output file 按字节拆分,默认单位字节
-C, --line-bytes=SIZE put at most SIZE bytes of lines per output file 指定单行的最大大小,默认单位字节
-d, --numeric-suffixes use numeric suffixes instead of alphabetic 用数字作为拆分文件的后缀
-l, --lines=NUMBER put NUMBER lines per output file 按行数进行拆分
--verbose print a diagnostic just before each
output file is opened
--help display this help and exit
--version output version information and exit
模式一:指定分割后文件行数
对与txt文本文件,可以通过指定分割后文件的行数来进行文件分割。
命令:
split -l 300 large_file.txt new_file_prefix
切分后默认生成加后缀aa, ab, ac...以此类推, 当然也可以自定义后缀。
模式二:指定分割后文件大小
split -b 10m server.log waynelog
对二进制文件我们同样也可以按文件大小来分隔。
在Linux下用cat进行文件合并
命令:
cat small_files* > large_file
原文来源:https://m.pythontab.com/article/1159