×

Lệnh curl và wget trong Bash tải dữ liệu từ mạng

Avatar of admin
admin 5 Views

Trong thế giới lập trình và quản trị hệ thống, việc tải dữ liệu trực tiếp từ Internet về máy tính hoặc máy chủ là một nhiệm vụ rất phổ biến. Hai công cụ mạnh mẽ và phổ biến nhất cho công việc này trong môi trường Bash là curl và wget. Bài viết này sẽ đi sâu vào cách sử dụng curl và wget, giới thiệu các tính năng nổi bật của chúng, cũng như phân tích các trường hợp sử dụng cụ thể, giúp bạn có cái nhìn tổng quan về cách tải dữ liệu từ mạng một cách hiệu quả và dễ dàng.

Giới thiệu về curl và wget

Cả curl và wget đều là các công cụ dòng lệnh cho phép người dùng tải dữ liệu từ các địa chỉ URL qua giao thức HTTP, HTTPS, FTP và nhiều giao thức khác. Mặc dù chúng có nhiều điểm tương đồng, nhưng chúng cũng có những khác biệt nổi bật làm cho mỗi công cụ trở nên phù hợp hơn trong một số tình huống nhất định.

curl: Cụm từ viết tắt của "Client URL"

curl là một công cụ mạnh mẽ, hỗ trợ nhiều giao thức và cho phép bạn thực hiện cả các phương thức HTTP như POST, GET, PUT, DELETE. Đặc biệt, curl thường được sử dụng trong các môi trường lập trình để lấy dữ liệu từ API và để tương tác với các dịch vụ web.

Một số tính năng nổi bật của curl:

  • Hỗ trợ nhiều giao thức khác nhau: HTTP, HTTPS, FTP, FTPS, SCP, SFTP, LDAP, và nhiều hơn nữa.
  • Có khả năng gửi dữ liệu bằng các phương thức HTTP khác nhau.
  • Có thể gửi thông tin xác thực (authentication) dễ dàng.
  • Hỗ trợ định dạng JSON và XML khi làm việc với API.
  • Cho phép tải lên tập tin với phương thức POST.
  • Có khả năng xử lý các chứng chỉ SSL, giao thức proxy và cookies.

wget: Viết tắt của "World Wide Web Get"

wget được thiết kế để tải xuống tập tin từ Internet. Nó thích hợp hơn cho việc tải về một hoặc nhiều tập tin tĩnh và có thể tải xuống toàn bộ trang web một cách nhanh chóng và dễ dàng.

Một số tính năng chính của wget:

  • Tự động tải lại xuống nếu quá trình tải bị ngắt quãng.
  • Hỗ trợ tải về toàn bộ trang web hoặc nhiều tập tin từ một địa chỉ URL.
  • Có khả năng xử lý các liên kết ngoại vi.
  • Tích hợp tính năng tiếp tục tải file bị ngắt quãng.
  • Có thể hạn chế băng thông khi tải xuống để không làm ảnh hưởng đến các hoạt động khác.

Sử dụng curl trong Bash

Cách cài đặt curl

Trên hầu hết các hệ điều hành Linux, curl thường đã được cài đặt sẵn. Nếu không, bạn có thể dễ dàng cài đặt nó với các lệnh phù hợp với hệ điều hành của mình:

# Đối với hệ điều hành Ubuntu/Debian:
sudo apt-get install curl

# Đối với hệ điều hành CentOS/Fedora:
sudo yum install curl

# Đối với macOS:
brew install curl

Tải một tập tin đơn giản bằng curl

Cú pháp cơ bản để tải một tập tin bằng curl như sau:

curl -O <URL>

-O sẽ lưu tập tin với tên giống như tên tập tin trên máy chủ.

Ví dụ:

curl -O https://example.com/file.zip

Sử dụng curl để gửi dữ liệu

Một trong những điểm mạnh của curl là khả năng gửi dữ liệu qua các phương thức HTTP. Để gửi một yêu cầu POST, bạn có thể sử dụng cú pháp:

curl -X POST -d "param1=value1&param2=value2" <URL>

Bạn cũng có thể gửi dữ liệu dưới dạng JSON bằng cách sử dụng -H để chỉ định tiêu đề Content-Type:

curl -X POST -H "Content-Type: application/json" -d '{"param1":"value1", "param2":"value2"}' <URL>

Xác thực với curl

Trong nhiều trường hợp, bạn cần gửi thông tin xác thực khi thực hiện yêu cầu. curl hỗ trợ nhiều phương thức xác thực khác nhau:

curl -u username:password <URL>

Nếu bạn cần sử dụng token Bearer:

curl -H "Authorization: Bearer <token>" <URL>

Tải tập tin qua FTP với curl

Ngoài HTTP, curl cũng hỗ trợ tải xuống các tập tin qua FTP:

curl -u username:password -O ftp://example.com/file.zip

Sử dụng wget trong Bash

Cách cài đặt wget

Tương tự như curl, wget thường đã được cài đặt sẵn trên nhiều hệ điều hành. Nếu chưa, bạn có thể cài đặt nó bằng lệnh:

# Đối với hệ điều hành Ubuntu/Debian:
sudo apt-get install wget

# Đối với hệ điều hành CentOS/Fedora:
sudo yum install wget

# Đối với macOS:
brew install wget

Tải một tập tin đơn giản bằng wget

Cú pháp cơ bản để tải một tập tin bằng wget như sau:

wget <URL>

Ví dụ:

wget https://example.com/file.zip

Tập tin sẽ được lưu với tên gốc.

Tải nhiều tập tin với wget

wget cho phép bạn tải nhiều tập tin cùng một lúc nếu bạn đưa vào một danh sách các URL:

wget -i urls.txt

Trong đó, urls.txt là một tệp chứa các đường dẫn đến các tập tin mà bạn muốn tải.

Tải toàn bộ trang web với wget

Bạn có thể dễ dàng tải toàn bộ nội dung của một trang web bằng cách sử dụng tùy chọn -r (đệ quy):

wget -r http://example.com

Điều này sẽ tải tất cả các tài nguyên từ trang web đó, bao gồm hình ảnh, CSS, JavaScript, và các trang liên quan.

Tiếp tục tải tập tin bị ngắt quãng

Nếu quá trình tải bị ngắt quãng, bạn có thể sử dụng tùy chọn -c để tiếp tục tải:

wget -c <URL>

Điều này rất hữu ích nếu bạn đang tải các tệp lớn và không muốn bắt đầu lại từ đầu.

So sánh giữa curl và wget

Mặc dù cả curl và wget đều có thể sử dụng để tải dữ liệu từ Internet, nhưng chúng được thiết kế với các mục đích khác nhau:

  • curl: Tốt hơn cho việc làm việc với các API, gửi dữ liệu và tương tác với thông điệp HTTP. Nó cũng hỗ trợ nhiều giao thức khác nhau, làm cho nó linh hoạt hơn trong nhiều tình huống.
  • wget: Tốt nhất cho việc tải xuống các tệp đơn lẻ hoặc nhiều tệp qua HTTP, HTTPS và FTP. Nó cũng hỗ trợ các tùy chọn để tải xuống toàn bộ trang web và quản lý các tải xuống bị gián đoạn.

Kết luận

Việc sử dụng curl và wget là rất quan trọng đối với lập trình viên cũng như quản trị hệ thống trong quá trình xử lý và tải dữ liệu từ Internet. Mỗi công cụ đều có những lợi thế và nhược điểm riêng, vì vậy bạn nên lựa chọn công cụ phù hợp với mục đích sử dụng của mình. Hy vọng rằng bài viết này đã giúp bạn hiểu rõ hơn về cách sử dụng curl và wget trong môi trường Bash.

Comments

Bài viết liên quan