Cara Setup VPN WireGuard di Linux Server dari Nol

Saya masih ingat pertama kali kerja remote dari kafe, coba SSH ke server kantor, dan koneksi ditolak terus. IP publik kantor di-block, VPN lama pusing di-setup, dan OpenVPN bikin laptop saya panas kayak microwave. Terus saya ketemu WireGuard.

WireGuard itu VPN modern yang desainnya simpel banget. Gak ada config file sepanjang makalah, gak ada sertifikat yang ribet, dan performanya ngebut karena pakai kernel space. Kalau kamu pernah pusing sama OpenVPN atau IPSec, WireGuard ini kayak napas segar.

Apa itu WireGuard dan Kenapa Harus Pakai?

WireGuard adalah VPN protocol open-source yang dirilis pertama kali tahun 2017 oleh Jason Donenfeld. Tahun 2020 masuk ke kernel Linux resmi (kernel 5.6), jadi sekarang kamu gak perlu install module tambahan di distro Linux modern.

Yang bikin WireGuard beda dari VPN lawas:

• Simpel: Config file cuma beberapa baris. Bandingkan dengan OpenVPN yang butuh CA, server cert, client cert, DH params, dan ta.key.
• Cepat: Pakai protocol modern (ChaCha20, Curve25519, Blake2s) yang lebih ringan dari AES/RSA. Latency lebih rendah.
• Aman: Encryption default pakai cipher modern. Gak ada opsi untuk "downgrade" ke cipher lemah kayak OpenVPN.
• Ringan: Codebase cuma ~4000 baris C. OpenVPN itu ~100,000 baris. Lebih sedikit code = lebih sedikit bug.
• Stealthy: Packet WireGuard gak ada header yang identify dirinya sendiri. Sulit dideteksi dibanding OpenVPN.

Prasyarat dan Persiapan

Sebelum mulai, kamu butuh:

• VPS Linux (Ubuntu 22.04/24.04, Debian 12, atau CentOS stream). Saya pakai Ubuntu 22.04 di tutorial ini.
• Akses root atau sudo ke server.
• Port UDP 51820 terbuka di firewall.
• Client device (Windows, Mac, Linux, Android, atau iOS) untuk test koneksi.

Untuk VPS, saya rekomendasi pakai provider yang bandwidthnya generous karena VPN traffic bisa besar. DigitalOcean atau Vultr punya droplet $5/bulan yang cukup untuk personal VPN. Kalau mau yang lebih murah, ada provider seperti Hetzner dengan package EUR 4/bulan.

Step 1: Install WireGuard di Server

Di Ubuntu 22.04+, WireGuard sudah ada di kernel. Kamu cuma perlu install userspace tools:

sudo apt update
sudo apt install wireguard wireguard-tools qrencode -y

Paket qrencode optional tapi berguna nanti untuk generate QR code kalau kamu mau pakai WireGuard di HP Android/iOS.

Step 2: Generate Key Pair (Server)

WireGuard pakai asymmetric cryptography. Setiap peer (server dan client) punya private key dan public key. Generate dulu untuk server:

cd /etc/wireguard
wg genkey | tee server_private.key | wg pubkey > server_public.key
chmod 600 server_private.key

Simpan output server_public.key kamu butuh ini nanti untuk config client.

cat server_public.key
# Output: aB3dE5fG7hI9jK1lM3nO5pQ7rS9tU1vW3xY5zA7bC9=

Step 3: Buat Config Server

Buat file /etc/wireguard/wg0.conf:

[Interface]
PrivateKey = <isi-dengan-server_private.key>
Address = 10.66.66.1/24
ListenPort = 51820
PostUp = iptables -A FORWARD -i wg0 -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE
PostDown = iptables -D FORWARD -i wg0 -j ACCEPT; iptables -t nat -D POSTROUTING -o eth0 -j MASQUERADE

Penjelasan per baris:

• PrivateKey: Key yang baru saja kamu generate. Gak boleh dibagi siapapun.
• Address: IP internal VPN server. Pakai subnet 10.66.66.0/24, bebas sih selain gak bentrok dengan network lokal.
• ListenPort: Port yang WireGuard dengarkan. Default 51820 (UDP).
• PostUp/PostDown: Command yang dijalankan saat VPN up/down. Di sini setup NAT agar client bisa akses internet lewat server.

Penting: Ganti eth0 dengan interface network utama server kamu. Cek dengan ip a biasanya eth0, ens3, atau ens18.

Step 4: Enable IP Forwarding

Supaya server bisa forward traffic dari VPN client ke internet, enable IP forwarding:

echo "net.ipv4.ip_forward=1" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

Verify kalau sudah aktif:

cat /proc/sys/net/ipv4/ip_forward
# Output harus: 1

Step 5: Buka Port di Firewall

Kalau server pakai UFW:

sudo ufw allow 51820/udp
sudo ufw reload

Kalau pakai iptables langsung:

sudo iptables -A INPUT -p udp --dport 51820 -j ACCEPT

Jangan lupa juga buka port 51820/UDP di security group kalau server kamu di cloud provider kayak AWS atau Oracle Cloud. Ini step yang sering kelupaan dan bikin VPN gak connect-padahal setup-nya udah bener.

Step 6: Start WireGuard Server

sudo wg-quick up wg0

Kalau berhasil, output-nya kira-kira:

[#] wg-quick up wg0
[#] ip link add wg0 type wireguard
[#] wg setconf wg0 /dev/fd/63
[#] ip -4 address add 10.66.66.1/24 dev wg0
[#] ip link set mtu 1420 up dev wg0
[#] iptables -A FORWARD -i wg0 -j ACCEPT; iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

Enable auto-start saat boot:

sudo systemctl enable wg-quick@wg0

Cek status:

sudo wg show

Output:

interface: wg0
  public key: aB3dE5fG7hI9jK1lM3nO5pQ7rS9tU1vW3xY5zA7bC9=
  private key: (hidden)
  listening port: 51820

Step 7: Generate Client Key Pair dan Config

Sekarang setup client. Generate key pair untuk client (bisa di server, lalu copy config ke device client):

cd /etc/wireguard
wg genkey | tee client1_private.key | wg pubkey > client1_public.key

Buat config client di /etc/wireguard/client1.conf:

[Interface]
PrivateKey = <isi-client1_private.key>
Address = 10.66.66.2/32
DNS = 1.1.1.1, 8.8.8.8

[Peer]
PublicKey = <isi-server_public.key>
Endpoint = <IP_PUBLIC_SERVER>:51820
AllowedIPs = 0.0.0.0/0
PersistentKeepalive = 25

Penjelasan:

• Address: IP internal client di VPN network. Setiap client harus unik (client2 = 10.66.66.3, client3 = 10.66.66.4, dst).
• DNS: DNS server yang dipakai saat VPN aktif. Saya pakai Cloudflare (1.1.1.1) karena cepat dan support DNS-over-HTTPS.
• PublicKey (Peer): Public key server.
• Endpoint: IP publik server + port.
• AllowedIPs = 0.0.0.0/0: Route SEMUA traffic lewat VPN. Kalau mau split tunneling (hanya traffic tertentu lewat VPN), pakai IP spesifik seperti 10.66.66.0/24.
• PersistentKeepalive: Kirim keepalive packet setiap 25 detik. Penting kalau client di belakang NAT (router kantor, wifi kafe).

Step 8: Tambahkan Client ke Server Config

Server perlu tahu tentang client ini. Edit /etc/wireguard/wg0.conf dan tambahkan section Peer:

[Peer]
PublicKey = <isi-client1_public.key>
AllowedIPs = 10.66.66.2/32

Lalu restart WireGuard:

sudo wg-quick down wg0 && sudo wg-quick up wg0

Atau tanpa restart (lebih elegant):

sudo wg set wg0 peer <client1_public.key> allowed-ips 10.66.66.2/32

Step 9: Connect dari Client

Linux client:

sudo apt install wireguard-tools
sudo cp client1.conf /etc/wireguard/wg0.conf
sudo wg-quick up wg0

Windows client: Download WireGuard app dari wireguard.com/install. Import file client1.conf dan klik "Activate".

Android/iOS: Install WireGuard app dari Play Store/App Store. Kalau kamu install qrencode di server, bisa generate QR code:

qrencode -t ansiutf8 < /etc/wireguard/client1.conf

Scan QR code dengan app WireGuard di HP. Super gampang, gak perlu transfer file manual.

Step 10: Test dan Verify Koneksi

Setelah connect, verify bahwa traffic kamu sudah lewat VPN:

# Cek IP publik (harus berubah ke IP server)
curl ifconfig.me

# Test DNS resolution
nsexample.com

# Test speed
speedtest-cli

Di server, cek peer yang terhubung:

sudo wg show

Output yang menunjukkan client connected:

interface: wg0
  public key: aB3dE5fG7hI9jK1lM3nO5pQ7rS9tU1vW3xY5zA7bC9=
  private key: (hidden)
  listening port: 51820

peer: xY7zA9bC1dE3fG5hI7jK9lM1nO3pQ5rS7tU9vW1xY3=
  endpoint: 203.0.113.50:51820
  allowed ips: 10.66.66.2/32
  latest handshake: 1 minute ago
  transfer: 1.5 MiB received, 25.3 MiB sent

Kalau "latest handshake" menunjukkan waktu baru (< 2 menit), berarti koneksi aman. Kalau handshake gak muncul, kemungkinan ada masalah firewall atau port.

Troubleshooting: Masalah yang Sering Muncul

Masalah 1: Client connect tapi gak bisa akses internet.
Cek apakah IP forwarding sudah enable dan PostUp/PostDown di config server benar. Pastikan interface name di PostUp (eth0) match dengan interface network utama server.

# Cek interface utama
ip route show default
# Output: default via 172.16.0.1 dev eth0 proto static

Masalah 2: Handshake gak terjadi.
99% kasus ini masalah firewall. Cek:

# Test port dari client
nc -zu <IP_SERVER> 51820

# Cek log firewall
sudo journalctl -u ufw --since "10 min ago"

Cloud provider kayak Oracle Cloud, AWS, dan GCP punya security group TERPISAH dari UFW/iptables. Kamu harus buka port 51820/UDP di security group dashboard juga.

Masalah 3: Bisa connect tapi speed lambat.
Coba kurangi MTU di config client:

[Interface]
MTU = 1280

Default MTU WireGuard 1420, tapi kalau ISP kamu pakai MTU rendah atau ada PPPoE, 1280 lebih stabil.

Multiple Clients: Cara Tambah Device Baru

WireGuard gak punya "user management" kayak OpenVPN. Setiap device adalah peer baru. Untuk tambah client:

# Generate key untuk client2
wg genkey | tee client2_private.key | wg pubkey > client2_public.key

# Tambah ke server
sudo wg set wg0 peer $(cat client2_public.key) allowed-ips 10.66.66.3/32

Buat config client2 sama seperti client1 tapi ganti Address ke 10.66.66.3/32.

Supaya config persistent setelah reboot, tambahkan juga ke wg0.conf:

[Peer]
PublicKey = <client2_public.key>
AllowedIPs = 10.66.66.3/32

Monitoring dan Maintenance

Cek real-time traffic per peer:

sudo wg show all dump

Untuk monitoring yang lebih detail, install wg-exporter dan integrate dengan Prometheus + Grafana. Tapi untuk personal VPN, wg show sudah cukup.

Backup config:

sudo tar czf wireguard-backup.tar.gz /etc/wireguard/

Simpan backup di tempat aman (bukan di server yang sama). Kalau kamu kehilangan private key server, semua client harus di-setup ulang.

WireGuard vs OpenVPN vs IPsec

Buat kamu yang masih ragu pilih VPN yang mana, ini perbandingan singkat:

• WireGuard: Paling cepat, paling simpel, encryption modern. Tapi gak punya built-in obfuscation (bisa dideteksi DPI di negara yang sensor internet).
• OpenVPN: Paling mature, support banyak platform, bisa pakai TCP 443 (sulit di-block). Tapi config ribet dan speed lebih lambat.
• IPsec/IKEv2: Built-in di sebagian besar OS, cocok untuk enterprise. Tapi setup paling kompleks dan kalau ada NAT traversal issue, debugging-nya menyiksa.

Untuk personal use dan small team, WireGuard jelas pilihan terbaik. Kalau kamu tinggal di area yang sensor internet ketat, kombinasi WireGuard + obfuscation (Shadowsocks atau Cloak) bisa jadi solusi.

Kesimpulan

WireGuard itu investasi waktu 30 menit yang bakal mengubah cara kamu akses server dan protect traffic online. Setup-nya gak ribet, performanya kencang, dan security-nya pakai standard modern. Kalau kamu sering kerja remote atau butuh akses aman ke infra server, WireGuard wajib dicoba.

Pertanyaan buat kamu: sekarang kamu pakai VPN apa untuk akses server? Udah pernah coba WireGuard atau masih pakai OpenVPN? Kalau ada masalah setup, comment di bawah, saya bantu troubleshoot.