엉뚱뽀짝

from bs4 import BeautifulSoup
from urllib.request import *
from urllib.parse import *
from os import makedirs
import os.path, time, re

proc_files = {} # 이미 처리한 파일인지 확인하기 위한 빈 변수
def enum_links(html, base) :
    soup = BeautifulSoup(html, "html.parser")
    print("soup = ", soup)
    links = soup.select("link[rel='stylesheet']")
    print("links = ", links)
    links += soup.select("a[href]")
    print("links+ = ", links)
    result = []
    for a in links : # href 속성을 추출하고, 링크를 절대 경로로 변환
        href = a.attrs['href']
        url = urljoin(base, href)
        result.append(url)
    return result

def download_file(url) :
    o = urlparse(url)
    print("o = ", o)
    savepath = "./" + o.netloc + o.path
    if re.search(r"/$", savepath) :
        savepath += "index.html"
    savedir = os.path.dirname(savepath)
    if os.path.exists(savepath) : # 모두 다운로드되었는지 확인
        return savepath 
    if not os.path.exists(savedir) : # 다운로드 받을 폴더 생성
        print("mkdir = ", savedir)
        makedirs(savedir)
    try : # 파일 다운받기
        print("download = ", url)
        urlretrieve(url, savepath)
        time.sleep(1)
        return savepath
    except :
        print("download fail : ", url)
        return None

def analyze_html(url, root_url) : # html을 분석하고 다운받는 함수
    savepath = download_file(url) 
    if savepath is None :
        return
    if savepath in proc_files : # 이미 다운로드 받았다면 실행하지 않음.
        return 
    proc_files[savepath] = True
    print("analyze_html =", url)
    html = open(savepath, "r", encoding = "utf-8").read()
    links = enum_links(html, url)
    for link_url in links :
        if link_url.find(root_url) != 0 :
            if not re.search(r".css$", link_url) :
                continue
        if re.search(r".(html|htm)$", link_url) :
            analyze_html(link_url, root_url)
            continue
        download_file(link_url)

if __name__ == "__main__" :
    url = "https://docs.python.org/3.5/library/"
    analyze_html(url, url) 

 서식 

 설명 

 *

 모든 요소를 선택합니다. 

 <요소 이름>

 요소 이름을 기반으로 선택합니다. 

 .<클래스 이름>

 클래스 이름을 기반으로 선택합니다.

 #<ID 이름>

 ID 속성을 기반으로 선택합니다.

 서식 

 설명 

 <선택자>, <선택자> 

 쉼표로 구분된 여러 개의 선택자를 모두 선택합니다. 

 <선택자> <선택자>

 앞 선택자의 후손 중 뒤 선택자에 해당하는 것을 모두 선택합니다.

 <선택자> > <선택자>

 앞 선택자의 자손 중 뒤 선택자에 해당하는 것을 모두 선택합니다.

 <선택자> + <선택자> 

 같은 계층에서 바로 뒤에 있는 요소를 선택합니다.

 <선택자1> - <선택자2>

 선택자1부터 선택자2까지의 요소를 모두 선택합니다.

 서식

 설명

 <요소>[<속성>]

 해당 속성을 가진 요소를 선택합니다. 

 <요소>[<속성>=<값>]

 해당 속성의 값이 지정한 값과 같은 요소를 선택합니다.

 <요소>[<속성>~=<값>]

 해당 속성의 값이 지정한 값을 단어로 포함(띄어쓰기로 구분해서 완전히 포함)하고 있다면 선택합니다.

 <요소>[<속성>|=<값>]

 해당 속성의 값으로 시작하면 선택합니다.(이때 하이픈 기호(※)로 구분해서 확인합니다.)  

 <요소>[<속성>^=<값>]

 해당 속성의 값이 지정한 값으로 시작하면 선택합니다.

 <요소>[<속성>$=<값>]

 해당 속성의 값이 지정한 값으로 끝나면 선택합니다.

 <요소>[<속성>*=<값>]

 해당 속성의 값이 지정한 값을 포함하고 있다면 선택합니다.

 서식

 설명

 <요소>:root

 루트 요소

 <요소>:nth-child(n)

 n번째 자식 요소

 <요소>:nth-last-child(n)

 뒤에서부터 n번째 자식 요소 

 <요소>:nth-of-type(n)

 n번째 해당 종류의 요소

 <요소>:first-child

 첫 번째 자식 요소 

 <요소>:last-child

 마지막 번째 자식 요소

 <요소>:first-of-type

 첫 번째 해당 종류의 요소 

 <요소>:last-of-type

 마지막 번째 해당 종류의 요소 

 <요소>:only-child

 자식으로 유일한 요소 

 <요소>:only-of-type 

 자식으로 유일한 종류의 요소 

 <요소>:empty

 내용이 없는 요소

 <요소>:lang(code)

 특정 언어로 code를 지정한 요소 

 <요소>:not(s)

 s 이외의 요소 

 <요소>:enabled

 활성화된 UI 요소

 <요소>:disabled

 비활성화된 UI 요소

 <요소>:checked

 체크돼 있는 UI 요소를 선택합니다.