手记

利用 canvas 实现数据压缩

前言

HTTP 支持 GZip 压缩,可节省不少传输资源。但遗憾的是,只有下载才有,上传并不支持。如果上传也能压缩,那就完美了。特别适合大量文本提交的场合,比如博客园,就是很好的例子。

虽然标准不支持「上传压缩」,但仍可以自己来实现。

Flash

首选方案当然是 Flash,毕竟它提供了压缩 API。除了 zip 格式,还支持 lzma 这种超级压缩。因为是原生接口,所以性能极高。而且对应的 swf 文件,也非常小。

JavaScript

Flash 逐渐淘汰,但取而代之的 HTML5,却没有提供压缩 API。只能自己用 JS 实现。

这虽然可行,但运行速度就慢多了,而且相应的 JS 也很大。如果代码有 50kb,而数据压缩后只小 10kb,那就不值了。除非量大,才有意义。

其他

能否不用 JS,而是利用某些接口,间接实现压缩?事实上,在 HTML5 刚出现时,就注意到了一个功能:canvas 导出图片。可以生成 JPG、PNG 等格式。

如果在思考的话,相信你也想到了。没错,就是 PNG —— 它是无损压缩的图片格式。我们把普通数据当成像素点,画到 canvas 上,然后导出成 PNG,不就是一个特殊的压缩包了吗!

下面开始探索。。。

编码

数据转像素,并不麻烦。1 个像素可以容纳 4 个字节:

R = bytes[0]G = bytes[1]B = bytes[2]A = bytes[3]

事实上有现成的方法,可批量将数据填充成像素:

var img = new ImageData(bytes, w, h);context.putImageData(img, 0, 0);

但是,图片的宽高如何设定?

尺寸

最简单的,就是用 1px 的高度。比如有 1000 个像素,则填在 1000 x 1 的图片里。

但如果有 10000 像素,就不可行了。因为 canvas 的尺寸,是有限制的。

不同的浏览器,最大尺寸不一样。有 4096 的,也有 32767 的。。。

以最大 4096 为例,如果每次都用这个宽度,显然不合理。

比如有 n = 4100 个像素,我们使用 4096 x 2 的尺寸:

| 1    | 2    | 3    | 4    | ...  | 4095 | 4096 || 4097 | 4098 | 4099 | 4100 | ...... 未利用 ......

第二行只用到 4 个,剩下的 4092 个都空着了。

但 4100 = 41 * 100。如果用这个尺寸,就不会有浪费。

所以,得对 n 分解因数:

n = w * h

这样就能将 n 个像素,正好填满 w x h 的图片。

但 n 是质数的话,就无解了。这时浪费就不可避免了,只是,怎样才能浪费最少?

于是就变成这样一个问题:

如何用 n + m 个点,拼成一个矩形。求矩形的 w 和 h。(n 已知,m 越小越好,0 < w <= MAX, 0 < h <= MAX)

考虑到 MAX 不大,穷举就可以。

我们遍历 h,计算相应的 w = ceil(n / h), 然后找出最接近 n 的 w * h

var MAX = 4096;var beg = Math.ceil(n / MAX);var end = Math.ceil(Math.sqrt(n));var minSize = 9e9;var bestH = 0,          // 最终结果    bestW = 0;for (h = beg; h <= end; h++) {    var w = Math.ceil(n / h);    var size = w * h;    if (size < minSize) {        minSize = size;        bestW = w;        bestH = h;    }    if (size == n) {        break;    }}

因为 w * hh * w 是一样的,所以只需遍历到 sqrt(n) 就可以。

同样,也无需从 1 开始,从 n / MAX 即可。

这样,我们就能找到最适合的图片尺寸。

当然,连续的空白像素,最终压缩后会很小。这一步其实并不特别重要。

渲染

定下尺寸,我们就可以「渲染数据」了。

渲染看似简单,然而事实上却有个意想不到的坑 —— 同个像素写入后再读取,数据居然会有偏差!这里有个测试:

var canvas = document.createElement('canvas');var ctx = canvas.getContext('2d');// 写入的数据var bytes = [100, 101, 102, 103];var buf = new Uint8ClampedArray(bytes);var img = new ImageData(buf, 1, 1);ctx.putImageData(img, 0, 0);// 读取的数据img = ctx.getImageData(0, 0, 1, 1);console.log(img.data);// 期望     [100, 101, 102, 103]// 实际// chrome  [99,  102, 102, 103]// firefox [101, 101, 103, 103]// ...

读取的值和写入的很接近,但并不相同。而且不同的浏览器,偏差还不一样!这究竟是怎么回事?

原来,浏览器为了提高渲染性能,有一个 Premultiplied Alpha 的机制。但是,这会牺牲一些精度!虽然视觉上并不明显,但用于数据存储,就有问题了。

如何禁用它?一番尝试都没成功。于是,只能从数据上琢磨。如果不使用 Alpha 通道,又会怎样?

// 写入的数据var bytes = [100, 101, 102, 255];...console.log(img.data);  // [100, 101, 102, 255]

设置 A = 255,这样倒是避开了问题。

看来,只能从数据上着手,跳过 Alpha 通道:

// pixel 1new_bytes[0] = bytes[0]     // Rnew_bytes[1] = bytes[1]     // Gnew_bytes[2] = bytes[2]     // Bnew_bytes[3] = 255          // A// pixel 2new_bytes[4] = bytes[3]     // Rnew_bytes[5] = bytes[4]     // Gnew_bytes[6] = bytes[5]     // Bnew_bytes[7] = 255          // A...

这时,就不受 Premultiplied Alpha 的影响了。

出于简单,也可以 1 像素存 1 字节:

// pixel 1new_bytes[0] = bytes[0]new_bytes[1] = 255new_bytes[2] = 255new_bytes[3] = 255// pixel 2new_bytes[4] = bytes[1]new_bytes[5] = 255new_bytes[6] = 255new_bytes[7] = 255...

这样,整个图片最多只有 256 色。如果能导出成「索引型 PNG」的话,也是可以尝试的。

解码

最后,就是将图像导出成可传输的数据。如果 canvas 能直接导出成 blob,那是最好的,因为 blob 可通过 AJAX 上传。

canvas.toBlob(function(blob) {    // ...}, 'image/png')

不过,大多浏览器都不支持,只能导出 data uri 格式:

uri = canvas.toDataURL('image/png')  // data:image/png;base64,xxxx

然而 base64 会增加 1/3 的长度,这样压缩效果就大幅降低了。所以,我们还得解码成二进制:

base64 = uri.substr(uri.indexOf(',') + 1)binary = atob(base64)

这时的 binary,就是最终想要的数据了吗?如果将 binary 通过 AJAX 提交的话,会发现实际传输字节,会比 binary.length 大!

原来 atob 函数返回的数据,仍是字符串型的,所以传输时会涉及到字集编码。因此我们还需再转换一次,变成真正的二进制类型:

var len = binary.lengthvar buf = new Uint8Array(len)for (var i = 0; i < len; i++) {    buf[i] = binary.charCodeAt(i)}

这时的 buf,才能被 AJAX 原封不动的传输。

演示

综上所述,我们简单演示下:https://www.etherdream.com/FunnyScript/jszip/encode.html

找一个大块的文本测试。例如 qq.com 首页 HTML,有 637,101 字节。

先使用「每像素 1 字节」的编码,各个浏览器生成的 PNG 大小:


ChromeFireFoxSafari
体积289,460203,276478,994
比率45.4%31.9%75.2%

其中火狐压缩率最高,减少了 2/3 的体积。生成的 PNG 看起来是这样的:

不过遗憾的是,所有浏览器生成的图片,都不是「256 色索引」的。

再测试「每像素 3 字节」,看看会不会有改善:


ChromeFireFoxSafari
体积297,239202,785384,183
比率46.7%31.8%60.3%

Safari 有了不少的进步,不过 Chrome 却更糟了。

FireFox 有略微的提升,压缩率仍是最高的。生成如下图片:

结论

由于 canvas 导出图片时,无法设置压缩等级,而默认的压缩率并不高。所以这种方式,最终效果并不理想。

同样的数据,相比 Flash 压缩,差距就很明显了:


deflate 算法lzma 算法
体积133,660108,015
比率21.0%17.0%

并且 Flash 生成的是通用格式,后端解压时,使用标准库即可;而 PNG 还得位图解码、像素处理等步骤,很麻烦。

所以,现实中还是优先使用 Flash,本文只是开脑洞而已。

用例

虽然是个然并卵的黑科技,不过实际还是有用到过,曾用在一个较大日志上传的场合(并且不能用 Flash)。

好在后端仅仅储存而已,并不分析。所以,可以让管理员将日志对应的 PNG 图片下回本地,在自己电脑上解析。

解压更容易,就是将像素还原回数据,这里有个简陋的 Demo:https://www.etherdream.com/FunnyScript/jszip/decode.html。

这样,既减少了上传流量,也节省服务器存储空间。

0人推荐
随时随地看视频
慕课网APP