golang写大文件的疑问

Question

写了个小程序,批量ssh远端服务器操作,并且将结果保存到本地.
现在使用的方法:
使用exec.Command执行命令,获取cmd.Stdout,并且结果outf.WriteString到文件.
如果场景变成是grep一个比较大的日志,有比较大的标准输出,这个时候是全部都读取到内存再一次性写到文件中么?是否有办法可以进行优化?谢谢.

Answer 1

多谢huandu和felix,使用os/exec就可以处理所有的内容了.Packageexecrunsexternalcommands.Itwrapsos.StartProcesstomakeiteasiertoremapstdinandstdout,connectI/Owithpipes,anddootheradjustments.packagemainimport("fmt""io""log""os""os/exec")funccheckError(errerror){iferr!=nil{log.Fatalf("Error:%s",err)}}funcmain(){//Replace`ls`(anditsarguments)withsomethingmoreinterestingcmd:=exec.Command("ssh","1.1.1.1","find/")//Createstdout,stderrstreamsoftypeio.Readerstdout,err:=cmd.StdoutPipe()checkError(err)stderr,err:=cmd.StderrPipe()checkError(err)//Startcommanderr=cmd.Start()checkError(err)//Don'tletmain()exitbeforeourcommandhasfinishedrunningdefercmd.Wait()//Doesn'tblock//Non-blockinglyechocommandoutputtoterminalgoio.Copy(os.Stdout,stdout)goio.Copy(os.Stderr,stderr)//IloveGo'strivialconcurrency:-Dfmt.Printf("Dootherstuffhere!Noneedtowait.\n\n")}

Answer 2

解决此类问题最好在远端做事情，尽可能的让远端直接处理输入，将处理过且精简了的输出通过ssh传回来。在远端，为了尽量不在内存中载入全部文件，也应该尽量使用管道的方式逐行处理，或者直接打开文件句柄进行操作。如果不方便在远端装可执行代码，可以考虑每次在先将处理程序通过ssh传过去。P.S.如果仅仅是想做类似grep这种逐行处理的操作，那么直接读stdout也未尝不可，立即读立即处理，这样并不会造成太多的内存消耗。此外，exec.Command不知道内部实现如何，很可能会一次读取所有内容到内存。一个稳妥的做法是使用os.StartProcess来执行ssh，它的最后一个参数可以用来重定向命令的stdout，详见文档。