wget 유틸리티는 Linux 명령 줄을 사용하여 웹에서 웹 페이지, 파일 및 이미지를 다운로드합니다. 단일 wget 명령을 사용하여 사이트에서 다운로드하거나 입력 파일을 설정하여 여러 사이트에서 여러 파일을 다운로드 할 수 있습니다. 매뉴얼 페이지에 따르면 사용자가 시스템에서 로그 아웃 한 경우에도 wget을 사용할 수 있습니다. 이렇게하려면 nohup 명령을 사용하십시오.
wget 명령의 기능
wget을 사용하여 전체 웹 사이트를 다운로드 할 수 있습니다. 웹 사이트를 오프라인으로 볼 수 있도록 링크를 로컬 소스를 가리 키도록 변환합니다. wget 유틸리티는 또한 연결이 끊어 질 때 다운로드를 재 시도하고 가능하면 연결이 돌아 왔을 때 중단 된 지점부터 다시 시작합니다.
wget의 다른 기능은 다음과 같습니다.
- HTTP, HTTPS 및 FTP를 사용하여 파일을 다운로드합니다.
- 다운로드를 재개합니다.
- 웹 사이트를 오프라인에서 볼 수 있도록 다운로드 한 웹 페이지의 절대 링크를 상대 URL로 변환합니다.
- HTTP 프록시 및 쿠키를 지원합니다.
- 지속적인 HTTP 연결을 지원합니다.
- 로그온하지 않은 상태에서도 백그라운드에서 실행할 수 있습니다.
- Linux 및 Windows에서 작동합니다.
wget을 사용하여 웹 사이트를 다운로드하는 방법
이 가이드에서는이 Linux 블로그를 다운로드하는 방법을 배웁니다.
wget www.ever
시작하기 전에 mkdir 명령을 사용하여 컴퓨터에 폴더를 만든 다음 cd 명령을 사용하여 폴더로 이동합니다.
예 :
mkdir everydaylinuxuser
cd 매일
wget www.ever
결과는 Google에서 가져온 콘텐츠를 포함하는 단일 index.html 파일입니다. 이미지와 스타일 시트는 Google에 보관됩니다.
:max_bytes(150000):strip_icc()/wget-basic-2df4680f53c24fccaa49f51b03955c8a.jpg)
전체 사이트와 모든 페이지를 다운로드하려면 다음 명령을 사용하십시오.
wget -r www.ever
이렇게하면 최대 5 단계까지 페이지가 재귀 적으로 다운로드됩니다. XNUMX 단계는 사이트에서 모든 것을 가져 오기에 충분하지 않을 수 있습니다. 사용 -l 다음과 같이 이동하려는 레벨 수를 설정하려면 전환하십시오.
wget -r -l10 www.ever
무한 재귀를 원하면 다음을 사용하십시오.
wget -r -l inf www.ever
당신은 또한 대체 할 수 있습니다 INF + 0, 이는 같은 의미입니다.
문제가 하나 더 있습니다. 모든 페이지를 로컬로 가져올 수 있지만 페이지의 링크는 원래 위치를 가리 킵니다. 페이지의 링크 사이를 로컬로 클릭 할 수 없습니다.
:max_bytes(150000):strip_icc()/wget-file-79476acd9d2944a0914550f9236ab233.jpg)
이 문제를 해결하려면 -k 다음과 같이 로컬에서 다운로드 한 해당 링크를 가리 키도록 페이지의 링크를 변환합니다.
wget -r -k www.ever
웹 사이트의 완전한 거울을 얻으려면 다음 스위치를 사용하십시오. -r, -k및 -l 스위치.
wget -m www.ever
웹 사이트가있는 경우이 간단한 명령을 사용하여 전체 백업을 만들 수 있습니다.
wget을 백그라운드 명령으로 실행
wget을 백그라운드 명령으로 실행하여 파일을 다운로드하는 동안 터미널 창에서 작업을 계속할 수 있습니다. 다음 명령을 사용하십시오.
wget -b www.ever
:max_bytes(150000):strip_icc()/wget-background-a6f4de8295f04efba878642a344c1cf4.jpg)
스위치를 결합 할 수 있습니다. 사이트를 미러링하는 동안 백그라운드에서 wget 명령을 실행하려면 다음 명령을 사용하십시오.
wget -b -m www.ever
다음과 같이 추가로 단순화 할 수 있습니다.
wget -bm www.ever
로깅
백그라운드에서 wget 명령을 실행하면 화면에 보내는 일반 메시지가 표시되지 않습니다. 언제든지 진행 상황을 확인할 수 있도록 이러한 메시지를 로그 파일로 보내려면 tail 명령을 사용하십시오.
wget 명령의 정보를 로그 파일로 출력하려면 다음 명령을 사용하십시오.
wget -o / path / to / mylogfile www.ever
그 반대는 로깅이 전혀 필요하지 않고 화면에 출력되지 않는 것입니다. 모든 출력을 생략하려면 다음 명령을 사용하십시오.
wget -q www.ever
여러 사이트에서 다운로드
다양한 사이트에서 다운로드 할 입력 파일을 설정할 수 있습니다. 자주 사용하는 편집기 또는 cat 명령을 사용하여 파일을 열고 파일의 각 줄에서 다운로드 할 사이트 또는 링크를 나열합니다. 파일을 저장하고 다음 wget 명령을 실행합니다.
wget -i /
웹 사이트를 백업하거나 오프라인에서 읽을 다운로드 할 항목을 찾는 것 외에는 전체 웹 사이트를 다운로드하고 싶지 않을 것입니다. 이미지가있는 단일 URL을 다운로드하거나 zip 파일, ISO 파일 또는 이미지 파일과 같은 파일을 다운로드 할 가능성이 높습니다.
이를 염두에두면 시간이 많이 걸리므로 입력 파일에 다음을 입력 할 필요가 없습니다.
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
기본 URL이 동일한 경우 입력 파일에 다음을 지정하십시오.
- file1.zip
- file2.zip
- file3.zip
그런 다음 다음과 같이 wget 명령의 일부로 기본 URL을 제공 할 수 있습니다.
wget -B http://www.myfileserver.com -i /
재시도 옵션
입력 파일에 다운로드 할 파일 대기열을 설정하고 파일을 다운로드하기 위해 컴퓨터를 계속 실행하는 경우 자리를 비우고 콘텐츠 다운로드를 다시 시도하는 동안 입력 파일이 중단 될 수 있습니다. 다음 스위치를 사용하여 재시도 횟수를 지정할 수 있습니다.
wget -t 10 -i /
위의 명령을 -T 다음과 같이 시간 제한을 초 단위로 지정하려면 스위치를 전환합니다.
wget -t 10 -T 10 -i /
위의 명령은 10 번 재 시도하고 파일의 각 링크에 대해 10 초 동안 연결합니다.
또한 느린 광대역 연결에서 75 기가 바이트 파일의 4 %를 다운로드 할 때 연결이 끊어지는 경우에도 불편합니다. wget을 사용하여 다운로드를 중지 한 위치에서 다시 시도하려면 다음 명령을 사용하십시오.
wget -c www.myfileser
서버를 망치면 호스트가 좋아하지 않을 수 있으며 요청을 차단하거나 종료 할 수 있습니다. 다음과 같이 각 검색 사이의 대기 시간을 지정하기 위해 대기 기간을 지정할 수 있습니다.
wget -w 60 -i /
위의 명령은 각 다운로드 사이에 60 초를 기다립니다. 단일 소스에서 많은 파일을 다운로드 할 때 유용합니다.
일부 웹 호스트는 빈도를 발견하고 차단할 수 있습니다. 다음과 같이 대기 기간을 무작위로 설정하여 프로그램을 사용하지 않는 것처럼 보이게 할 수 있습니다.
wget --random-wait -i /
다운로드 제한 보호
많은 인터넷 서비스 공급자는 특히 도시 외부에 거주하는 사람들에게 광대역 사용에 대한 다운로드 제한을 적용합니다. 다운로드 한도를 초과하지 않도록 할당량을 추가 할 수 있습니다. 다음과 같은 방법으로 수행 할 수 있습니다.
wget -q 100m -i /
그리고, -q 명령은 단일 파일에서 작동하지 않습니다. 2GB 크기의 파일을 다운로드하는 경우 -q 1000m 파일 다운로드를 중지하지 않습니다.
할당량은 사이트에서 재귀 적으로 다운로드하거나 입력 파일을 사용할 때만 적용됩니다.
보안 확보
일부 사이트에서는 다운로드하려는 콘텐츠에 액세스하려면 로그인해야합니다. 다음 스위치를 사용하여 사용자 이름과 암호를 지정합니다.
wget --user = yourusername --password
다중 사용자 시스템에서 누군가가 ps 명령을 내리면 사용자 이름과 비밀번호를 볼 수 있습니다.
기타 다운로드 옵션
기본적으로 -r switch는 콘텐츠를 재귀 적으로 다운로드하고 이동하면서 디렉토리를 만듭니다. 모든 파일을 단일 폴더로 다운로드하려면 다음 스위치를 사용하십시오.
그 반대는 다음 명령을 사용하여 수행 할 수있는 디렉토리 생성을 강제하는 것입니다.
특정 파일 형식을 다운로드하는 방법
사이트에서 재귀 적으로 다운로드하고 싶지만 MP3와 같은 특정 파일 형식이나 PNG와 같은 이미지 만 다운로드하려는 경우 다음 구문을 사용합니다.
wget -A &
그 반대는 특정 파일을 무시하는 것입니다. 실행 파일을 다운로드하고 싶지 않을 수 있습니다. 이 경우 다음 구문을 사용하십시오.
wget -R &
Cliget
cliget이라는 Firefox 애드온이 있습니다. 이것을 Firefox에 추가하려면 :
-
https://addons.mozilla.org/en-US/firefox/addon/cliget/을 방문하여 Firefox에 추가 버튼을 클릭합니다.
-
클릭 설치 버튼이 나타나면 Firefox를 다시 시작하십시오.
-
cliget을 사용하려면 다운로드 할 페이지 또는 파일을 방문하여 마우스 오른쪽 버튼을 클릭하십시오. cliget이라는 컨텍스트 메뉴가 나타나고 다음과 같은 옵션이 있습니다. 에게 복사 wget 와 컬에 복사.
-
클릭 wget에 복사 옵션을 선택하고 터미널 창을 연 다음 마우스 오른쪽 버튼을 클릭하고 파스타. 적절한 wget 명령이 창에 붙여 넣어집니다.
이렇게하면 직접 명령을 입력 할 필요가 없습니다.
개요
wget 명령에는 여러 옵션과 스위치가 있습니다. wget의 매뉴얼 페이지를 읽으려면 터미널 창에 다음을 입력하십시오.
남자 wget