Go 和 Java 之间的 IO 性能

Question

我在我的 Mac（Majave 版本）4Cpus/i5 和 16G 内存上进行了 go(1.11) 和 java(1.8) 之间的简单性能测试，我发现，读取一个小文件，golang 比 java 快 6~7 倍。下面是我的测试代码，我想确认一下是我的测试代码错了还是漏了什么？

1. 爪哇

与并发.ExecutorService

import java.io.*;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.Date;

import java.util.List;

import java.util.concurrent.Callable;

import java.util.concurrent.ExecutorService;

import java.util.concurrent.Executors;

import java.util.concurrent.Future;

class TaskWithResult implements Callable<String> {

        private static String readToString() {

        String fileName = "/Users/pis/IdeaProjects/Test/src/data/test.txt";

        File file = new File(fileName);

        Long filelength = file.length();

        byte[] filecontent = new byte[filelength.intValue()];

        try {

            FileInputStream in = new FileInputStream(file);

            in.read(filecontent);

            in.close();

        } catch (IOException e) {

            e.printStackTrace();

        }

        SimpleDateFormat myFmt=new SimpleDateFormat("yyyy-MM-dd HH: mm: ss: SSS: ");

        Date d1 = new Date();

        return myFmt.format(d1);

    }

    /**

     * 任务的具体过程，一旦任务传给ExecutorService的submit方法，

     * 则该方法自动在一个线程上执行

     */

    public String call() throws Exception {

        String result = readToString();

        System.out.println(result);

        //该返回结果将被Future的get方法得到

        return result;

    }

}

public class readFile{

    public static void main(String args[]){

        ExecutorService es = Executors.newFixedThreadPool(5);

        List<Future<String>> resultList = new ArrayList<Future<String>>();

        SimpleDateFormat myFmt=new SimpleDateFormat("yyyy-MM-dd HH: mm: ss: SSS");

        Date d1 = new Date();

        System.out.println("Start Time:"+myFmt.format(d1));

        for (int i = 0; i < 1000; i++){

            //使用ExecutorService执行Callable类型的任务，并将结果保存在future变量中

            Future<String> future = es.submit(new TaskWithResult());

            //将任务执行结果存储到List中

            resultList.add(future);

        }

    }

Answer 1

我看到了几个问题，无论是从概念的角度还是技术的角度。您使用一个通道来返回您的结果集（不错，有点），但是您只是简单地丢弃了结果。此外，您使用的是无缓冲通道，因此您在那里有一个瓶颈。请注意，这本身并不是问题，因为管道是构建程序的一种好方法——恕我直言，您只是在这里以错误的方式使用了它。符合的东西package mainimport (&nbsp; &nbsp; "fmt"&nbsp; &nbsp; "sync"&nbsp; &nbsp; "time")func main() {&nbsp; &nbsp; le := 1000&nbsp; &nbsp; // We want to wait until the operations finish&nbsp; &nbsp; var wg sync.WaitGroup&nbsp; &nbsp; // We "prealloc" err, since we do not want le * allocations&nbsp; &nbsp; var err error&nbsp; &nbsp; start := time.Now()&nbsp; &nbsp; for i := 0; i < le; i++ {&nbsp; &nbsp; &nbsp; &nbsp; // Add an operation to wait for to the group&nbsp; &nbsp; &nbsp; &nbsp; wg.Add(1)&nbsp; &nbsp; &nbsp; &nbsp; go func() {&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; // Ensure the WaitGroup is notified we are done (bar a panic)&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; defer wg.Done()&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; // Short notation, since we are not interested in the result set&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; if _,err = ioutil.ReadFile(fileName);err!=nil{&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;fmt.Println("read file error")&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; }&nbsp; &nbsp; &nbsp; &nbsp; }()&nbsp; &nbsp; }&nbsp; &nbsp; // Wait until all operations are finished.&nbsp; &nbsp; wg.Wait()&nbsp; &nbsp; fmt.Printf("%d iterations took %s", le, time.Since(start))}将是我的解决方案。如果我有想法做这样的事情。但是如果我们深入研究代码，基本上这里唯一可用的组件是ioutil.ReadFile. 将其用于值得进行基准测试的程序部分首先是一个非常糟糕的想法™。它应该用于相当小的文件（例如配置文件）——它本身并不是您要进行基准测试的程序的一部分。您要做的基准测试是您刚刚读取的文件的处理逻辑。让我给你举个例子：假设你想读入一堆小的 JSON 文件，解组它们，修改它们，再次编组它们并将它们发送到 REST API。那么，在这种情况下，您想对程序的哪一部分进行基准测试？我敢打赌处理文件的逻辑。因为那是您可以实际优化的程序部分。您既不能优化ioutil.ReadFile也不能优化服务器。除非你碰巧也写了这个。在这种情况下，您可能希望从服务器包中对服务器逻辑进行基准测试。最后但同样重要的是，您的问题标题为“Go 和 Java 之间的 IO 性能”。要实际测量 IO 性能，您需要非常大的 IO 操作。我倾向于为此使用 ISO 图像 - 我倾向于使用真实世界的数据。