手记

Perl IO:IO重定向

本文原创地址在博客园:https://www.cnblogs.com/f-ck-need-u/p/10450299.html

 

文件句柄和文件描述符的关系

文件描述符是操作系统的资源,对于实体文件来说,每打开一次文件,操作系统都会为该进程分配一个文件描述符来关联(指向)这个文件,以后操作文件数据都根据这个文件描述符来操作,而不是文件名。就像对文件句柄的操作一样。

实际上,文件句柄、文件描述符和实体文件的关系存在层次上的关系。文件句柄指向文件描述符,文件描述符指向实体文件结构。如下图:

正如图中所示,文件句柄是文件描述符的更上层封装,文件句柄指向文件描述符,且多个文件句柄还可以指向同一个文件描述符。同样地,多个文件描述符可以指向同一个实体文件。实际上,从文件到文件描述符,是采用引用计数的方式的,表示有多少个文件描述符还关联在这个文件上。同理,文件描述符到文件句柄,也是使用引用计数方式的,表示有多少文件句柄指向这个文件描述符

使用引用计数的特点之一就是只有引用数为0之后才表示关闭/删除/释放行为。例如,关闭文件句柄只是在文件描述符上引用数减一,而不是真的关闭文件描述符,直到文件描述符上的文件句柄引用数为0之后,这个文件描述符才会被关闭。同理,关闭文件描述符只是对文件结构的引用计数减1,直到这个文件结构的所有文件描述符都关闭了,才表示释放这个文件结构。

因为文件句柄是文件描述符的上层封装,所以文件句柄比文件描述符的功能多一些。实际上,从文件描述符到实体文件,中间的数据传输是纯裸数据流,不会有缓冲行为(当然,从操作系统的角度上看,有文件系统层的IO缓冲或操作系统层的缓冲,如page cache、buffer cache)。而文件句柄到文件描述符,中间有好几个IO层次,例如编码层(utf8)、换行符层(raw/crlf)、标准IO库层(stdio/perlio)、最底层(unix)。如下图:

其中标准IO库层用来提供IO buffer层,stdio是操作系统提供的标准IO库,perlio是Perl提供的标准IO库,在Perl中可以选择使用哪种IO库提供buffer。unix是perl io的最底层(就算是在win下也是unix层),它几乎等价于直接操作文件描述符,相当于是纯裸数据,没有IO buffer

模块PerlIO::Layers提供了Perl在文件描述符到文件句柄的IO层次上的一些检测功能,例如检测文件句柄是否已打开,是否设置了autoflush,是否使用缓冲等等。

另外,从文件句柄到文件描述符中间的IO Buffer中的数据,可以通过perl IO::Handle->flush()来刷,flush时,io buffer中未读数据被丢弃,未写数据将写入到文件描述符从文件描述符到设备文件(如磁盘上的abc.log)中间的缓冲(如page cache),可以通过操作系统的fsync()系统调用或perl IO::Handle->sync()来刷盘。

文件句柄、文件描述符的duplicate

在bash shell中经常见到的>file 2>&1,它表示将标准错误、标准输出都重定向到file文件中。这里的过程是将标准输入重定向到file文件,然后duplicate文件描述符fd=1得到fd=2,使得fd=2也指向fd=1对应的文件(即file),从而使得标准错误、标准输出都输出到file中。

除了重定向、文件描述符的duplicate,bash shell还支持文件描述符的手动打开(分配文件描述符)、移动、关闭。

Perl当然也支持类似的重定向和duplcate,而且不仅支持文件描述符级别的,还支持更上层别文件句柄级,无论是duplicate文件句柄还是duplicate文件描述符,都会生成新的文件描述符。另外,duplicate的对象是文件句柄时,不会将IO Buffer中的内容也duplicate,也就是说新的文件句柄中没有缓冲任何数据。

在Perl中,可以在open时在>、>>、<、+>、+>>、+<的后面加上符号&,这就表示文件句柄或文件描述符的duplicate。给文件句柄就是文件句柄的duplicate,给数值就是文件描述符的duplicate。open可以是两参数的或三参数的,三参数时,可以是文件句柄、文件句柄的引用(即\*FILEHANDLE格式),可以是文件描述符数值。如果需要获取文件句柄指向的文件描述符,可以使用fileno FILEHANDLE函数来获取。

例如,下面将STDOUT文件句柄duplicate一份得到NEWOUT,使得NEWOUT也指向标准输出,即向NEWOUT写入数据时也会出现在屏幕上(默认)。

1
2
3
4
5
6
7# 两参数或三参数的文件句柄duplicateopen NEWOUT, ">&STDOUT";open NEWOUT, ">&", "STDOUT";open NEWOUT, ">&", "\*STDOUT";# 三参数的文件描述符duplicateopen NEWOUT, ">&", fileno STDOUT;

按照上面的duplicate过程,结果如下图:

在duplicate时,所选的模式一定要匹配源文件句柄的模式。例如STDOUT是可写不可读(write-only)的文件句柄,在duplicate STDOUT时,就必须只能选择可写不可读的>&模式。duplicate后,新的文件句柄或文件描述符和源文件句柄/文件描述符的读、写模式是完全一样的

下面是将STDOUT复制多份的示例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22#!/usr/bin/perl#use strict;use warnings;use 5.010;open NEWOUT, ">&STDOUT" or die "duplicate1 failed: $!";say NEWOUT "hello world1, fd=", fileno NEWOUT;open NEWOUT1, ">&", "NEWOUT" or die "duplicate2 failed: $!";say NEWOUT1 "hello world2, fd=", fileno NEWOUT1;open NEWOUT2, ">&", "\*NEWOUT" or die "duplicate3 failed: $!";say NEWOUT2 "hello world3, fd=", fileno NEWOUT2;open NEWOUT3, ">&", fileno NEWOUT or die "duplicate4 failed: $!";say NEWOUT3 "hello world4, fd=", fileno NEWOUT3;close NEWOUT;close NEWOUT1;close NEWOUT2;close NEWOUT3;

执行后输出结果:

1
2
3
4hello world1, fd=3hello world2, fd=4hello world3, fd=5hello world4, fd=6

文件描述符重用:句柄别名

duplicate文件句柄或文件描述符时,都会自动新建一个新的文件描述符,并自动新建指向这个文件描述符的文件句柄。也就是说,只要duplicate一次,就至少有2个描述符,两个句柄。

如果想要重用文件描述符,只新建文件句柄,Perl中可以使用&=符号(<&=、>&=、>>&=、+<&=、+>&=、+>>&=),这表示创建一个文件句柄别名,使这个文件句柄也指向同一个文件描述符。也支持直接对文件描述符设置别名句柄,它会新建一个句柄指向这个文件描述符。

例如:

1
2open(ALIAS, ">&=HANDLE");open ALIAS, ">&=", fileno HANDLE;

这表示创建HANDLE句柄的一个别名,使得它两指向同一个文件描述符。如下:

因为两个句柄指向同一个文件描述符,所以这两个文件句柄共享了这个文件描述符,包括这个描述符上的锁。另外,从任一句柄更改描述符状态,都会直接反映到另一个文件句柄上,比如从一个文件句柄上加一把flock锁,因为flock锁是直接文件描述符上的,所以另一个文件句柄别名也会持有这把锁。

重定向

在bash中重定向非常的简单,在Perl中重定向直接使用> < >> +> +>> +<即可,只不过open的第一个参数是一个已存在的文件句柄,其无非是将输入自或输出到的某个文件句柄/文件描述符的数据转向另一个方向。

例如,将输出到标准输出的数据重定向到某个文件中,就像使用select FILEHANDLE一样。

1
2open STDOUT, "> abc.log";say "hello world";   # 将输出到abc.log文件中

再例如输入重定向,STDIN本该是从标准输入中读取数据的,但是现在改从一个文件中读取数据。

1
2
3
4
5open STDIN, "< abc.log";while(<STDIN>){    chomp;    print "$_\n";
}

但是这样使用重定向功能会有一个问题,STDOUT或STDIN或其它重定向句柄没法还原回原始的目标了。例如STDOUT原本是输出到终端的,将其重定向到某个文件后就没法找回输出到终端的方法了。所以,在程序中使用重定向时,经常会将重定向配合duplicate使用,在重定向之前,先将重定向句柄dup保存一份,然后重定向,重定向结束后再使用保存的句柄恢复回来

例如:

1
2
3
4
5
6
7
8
9
10
11# 1.dup。OLDOUT和STDOUT都将指向同一个底层文件结构:终端设备文件open OLDOUT, ">&", STDOUT or die "duplicate failed: $!";# 2.redirect。OLDOUT仍然指向终端设备文件,但是STDOUT指向新文件结构open STDOUT, "> $newfile" or die "redirect failed: $!";

... do something to STDOUT ...# 3.restore。通过dup的方式从OLDOUT恢复STDOUTclose STDOUT or die "close failed: $!";open STDOUT, ">&", OLDOUT or die "duplicate failed: $!";

注意上面第三步中恢复之前,记得先关闭STDOUT,如果不关闭STDOUT,在第二步过程中STDOUT中的缓冲不会flush。

 

本文原创地址在博客园:https://www.cnblogs.com/f-ck-need-u/p/10450299.html


0人推荐
随时随地看视频
慕课网APP