haproxy做负载均衡，100万连接数

haproxy做负载均衡，如果是并发连接数达到100万，haproxy报端口不够用的，该如何解决？服务器端口已经做过优化：1024~65535