爬虫技术学习与用户数据保护之间的矛盾

网络爬虫

本人近期学习python, 学习最有效的方式是什么？是实践！实践是检验真理的唯一标准，同样也是掌握一门语言最有效的方法。我向来都是实战派，确定实践方向---网络爬虫。

网络爬虫技术正在如火如荼的推进着，各大公司用作数据挖掘，数据分析，从而产生大数据，进而推动人工智能领域的发展；亦或是对数据进行资源整合，二次创造，产生新产品，如一些资讯类APP。

用户数据

所以说，爬虫技术是大数据来源的重要手段之一。但是呢，这里就存在一个问题，爬取数据大多来源于互联网上各大网站中各类用户的资源，那么，这是否会侵害到用户的利益呢？

近期我就遇到了相关的困扰，学习嘛，少不了实践，于是去抓取某博客网站的用户图片，纯粹学习用，然后写了篇相关的技术博客，关于如何爬取该博客网站指定用户的所有图片。

由于引用了某位用户的相关信息，所以觉得有必要征求他本人同意，就私信告知，并附上了博客链接。后来这位用户觉得我的做法是不对的，大概意思是说侵害了原创作者的利益，担心别有用心之人用该技术去干盗用他们的成果。后来我就把他的信息都换成自己的了。

ps: 最初不用自己的是因为本人博文有限而且质量不算太高(๑>؂<๑）

还有必要补充一点，这位用户粉丝上万，所以算是大V了。对于原创作品，本人也同样不愿被他人盗用。本人曾经写的部分文章也被盗用过，见到其原封不动照搬并不注明出处，本人也非常气愤！所以他的担忧我也能够理解，那么问题来了，爬虫技术学习与分享同用户知识产权保护之间的矛盾该如何化解？

矛盾

技术人员研究技术，无可厚非；用户担心原创数据被盗用或滥用，也是情理之中。这应该算是个矛盾了吧？

我想，作为技术人员，想的最多的是如何提高自身的技术水平，如何让自己的技术能够被广泛应用。一名具有开源精神，并且乐于分享的程序员，必然会用博客去记录技术学习的过程与成果，让广大爱好者受益，让自己在总结的过程中巩固所学。

而博客的书写本身也是一种原创行为，同样应该被支持和鼓励。用户担心技术的分享有可能会给他们的作品带来一定的损害或是隐患，那么其实我觉得大可不必。

为什么这么说，网络世界，凡有数据进入，就没有100%安全的保障，爬虫与反爬虫的较量和网络攻防是一样的。很多黑客攻击是为了给网站检查安全漏洞，就好比google的Project zero,一个强大的黑客天团，专门寻找漏洞。

当然，爬虫技术并不能与之完全等同对待，但是也有相似之处，爬虫技术的发展会推进反爬虫技术的发展，两者是齐头并进的。作为普通用户，可以选择安全性高的平台去保障自己的利益，同时，网站想要反爬也有很多技术手段，比如现在大多网站的验证码，虽然有办法破解，但也可以抵挡大部分初级技术人员，比如说我ω

从程序员方面来看，我们本身是绝不会想着去侵害他人利益的，至少我是不会。同时，爬虫技术也有一定的君子协议，robots协议。虽然没有强制性，但也是一种自我约束吧，这样就不会给网站带来巨大的访问流量。如果长时间不限速的爬取，对服务器也是一种攻击操作了，这本身也是不可取的，毕竟细水长流嘛。

至于爬取到的数据，如图片数据，基本上是用于观赏，技术强的的可能拿去当做训练素材去测试人工智能算法，比如图片分类，物体识别等，但也是仅限研究。

最后

程序员要有程序员的自我修养，节制使用爬虫；用户注意平台的选择，同时对于重要数据请谨慎上传，并注重知识产权的保护。

总之，网络世界，纷繁复杂，每个人都是网络中的一分子，每个人的信息都是网络洪流中的沧海一粟，别太浪就好！

作者：litreily
链接：https://www.jianshu.com/p/aee23ba8b690