一直解决不了这个问题求大神指教

Question

# coding:utf8

from taigong import  url_manager,html_downloader, html_parser, html_outputer
class SpiderMain(object):
    #在构造函数中对象进行初始化
    def __init__(self):
        self.urls = url_manager.UrlManager()
        self.downloader = html_downloader.HtmlDownloader()
        self.parser = html_parser.HtmlParser()
        self.outputer = html_outputer.HtmlOutputer()
        #爬虫的总调度程序
    def craw(self,root_url): 
        count = 1   #记录当前爬取的时第几个url 
        self.urls.add_new_url(root_url)#将入口url添加进url管理器中
        while self.urls.has_new_urls():#当存在可爬取的url时
            try:   
                new_url = self.urls.get_new_url()#获取有待爬取的url
                print 'craw %d:%s'%(count,new_url)
                #启动下载器
                html_cont = self.downloader.doanload(new_url)#下载好的页面存储下来
                #调用解析器解析
                new_urls,new_data = self.parser.parse(new_url,html_cont)
                self.urls.add_new_urls(new_urls)
                #收集数据
                self.outputer.collect_data(new_data)
                if count ==1000:
                    break
                count = count + 1    
            except:
                print 'craw failed'
                          
        self.outputer.output_html()
    

if __name__=="__main__":
    root_url = "http://jwc.tit.edu.cn/"
    obj_spider = SpiderMain()
    obj_spider.craw(root_url) #启动爬虫
    
    # coding:utf8



class UrlManager(object):#需要两个列表，待爬取的url和已经爬取过得url
    def __init__(self):
        self.new_urls = set()
        self.old_urls = set()
    
    def add_new_url(self,url):#向管理器中添加新的url
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:#如果这个url既不在待爬取中也不在爬取过的
            self.new_urls.add(url)  #将其添加在待爬取中
    
    def add_new_urls(self,urls):#向管理器中添加批量的url
        if urls is None or len(urls) == 0:
            return
        for url in urls:
            self.add_new_url(url)
    
    def has_new_url(self):#判断管理器中是否有新的待爬取的url
        return len(self.new_urls) != 0

    
    def get_new_url(self):#获取新的待爬取的url
        new_url = self.new_urls.pop()
        self.old_urls.add(new_url)
        return new_url
        
        
        # coding:utf8
'''
Created on 2016年5月8日

@author: de
'''
import urllib2


class HtmlDownloader(object):
    
    
    def doanload(self,url):
        if url is None:
            return None
        
        response = urllib2.urlopen(url)
        if response.getcode() != 200:
            return None
        
        return response.read()
        
        
        
        
        
    # coding:utf8
'''
Created on 2016年5月8日

@author: de
'''
from bs4 import BeautifulSoup
import re
import urlparse


class HtmlParser(object):
    
    
    def _get_new_urls(self, page_url, soup):
        new_urls = set()#将结果new_full_url存到新的列表里
        #获取到所有的连接/info/view/content/123.htm
        links = soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))
        for link in links:
            new_url = link['href']
            #将不完整的新的url按照page_url的格式拼接成相对应的完整的url
            new_full_url = urlparse.urljoin(page_url,new_url)
            new_urls.add(new_full_url)
        return new_urls
            
    
    
    def _get_new_data(self, page_url, soup):#解析数据
        res_data = {}#存放数据
        #url
        res_data['url'] = page_url
        #<td class="titlestyle1129870260_54099" align="center">
        #关于组织2016年院级教学改革研究项目立项答辩的通知
        #</td>
        title_node = soup.find('td',class_="titlestyle1129870260_54099").find("tr")
        res_data['title'] = title_node.get_text()
        #<div id="vsb_content">
        summary_node = soup.find('div',class_="vsb_content")
        res_data['summary'] = summary_node.get_text()
        return res_data
    
    
    def parse(self,page_url,html_cont):#参数是新的url列表和数据
        #首先进行参数判断
        if page_url is None or html_cont is None:
            return
        
        soup = BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
        new_urls = self._get_new_urls(page_url,soup)
        new_data = self._get_new_data(page_url,soup)
        return new_urls,new_data
    
    # coding:utf8

class HtmlOutputer(object):
    #需要一个列表维护收集的数据
    def __init__(self):
        self.datas = []
    
    def collect_data(self,data):
        if data is None:
            return
        self.datas.append(data)
    
    
    
    
    def output_html(self):
        #建立文件的输出对象
        fout = open('output.html','w')#w表示写模式
        fout.write("<HTML>")
        fout.write("<BODY>")
        fout.write("<TABLE>")
        #ascii
        for data in self.datas:
            fout.write("<TR>")
            fout.write("<TD>%s</TD>"%data['url'])
            fout.write("<TD>%s</TD>"%data['title'].encode('utf-8'))
            fout.write("<TD>%s</TD>"%data['summary'].encode('utf-8'))
            fout.write("</TR>")
        
        fout.write("</TABLE>")
        fout.write("</BODY>")
        fout.write("</HTML>")
        fout.close()

Answer 1

这是要解决什么问题呀，先说明，在给出代码