Duck Scraper — Panduan Pengguna (Updated)

Struktur Folder Utama

duck-scraper/
├─ composer.json
├─ config.json
├─ convert.cmd        ← convert keywords → sqlite (insert-or-ignore)
├─ scrape.cmd         ← scraping (gambar → artikel)
├─ export.cmd         ← export HTML + sitemap
├─ clean.cmd          ← hapus cache+export+db (tanpa konfirmasi)
├─ keywords/          ← taruh file .txt keyword (1 keyword per baris)
├─ sqlite/            ← database .sqlite (otomatis)
├─ export/            ← hasil export HTML (otomatis)
├─ writable/
│  └─ blade/
│     └─ theme/
│        ├─ layout.blade.php7
│        ├─ index.blade.php7
│        └─ article.blade.php7
└─ resources/tmp/cache/blade/  ← cache Blade

Langkah Cepat (3 langkah)

Taruh keywords ke folder keywords/ (contoh: home garden.txt).
Jalankan:
```
convert
scrape
export
```
Cek hasil di folder export/<nama-db>/ (mis. export/home-garden/).

Perintah (CMD) di Root

1) Convert (insert-or-ignore + niche)

Membuat/menambah database dari semua file .txt di keywords/. Niche otomatis diisi dari nama file (yang juga jadi nama database). Duplikat keyword (berdasarkan slug) otomatis diabaikan.

convert

2) Scrape

Urutan: scrape gambar semua keyword → lanjut scrape artikel (snippet DuckDuckGo). Default concurrency mengikuti config.json.

scrape                       :: semua database
scrape <db-name> [min]       :: contoh: scrape home-garden 12

3) Export

Hasilkan HTML (tanpa subfolder /p), index per grup, dan sitemap.xml. Related post disusun per grup dan mengikuti split.

export                       :: semua DB, split=true (default)
export <db-name> false       :: export 1 DB tanpa split

4) Clean

Menghapus SEMUA: cache Blade + folder export + semua database sqlite. Tidak ada konfirmasi.

clean

Menambahkan Keywords & Niche

Buat file .txt di folder keywords/, 1 keyword per baris.

Nama file akan menjadi niche + nama database (di-slugify). Contoh:

keywords/
└─ home garden.txt   → sqlite/home-garden.sqlite  (niche="home-garden")

Jalankan convert lagi bila menambah keyword. Duplikat diabaikan (aman di-run berulang).

Konfigurasi Utama (`config.json`)

concurrency: jumlah request paralel scraping artikel (default 5).
min_results: minimal snippet per keyword (default 12). Sistem akan Next (POST) sampai batas waktu.
duckduckgo.max_per_query_seconds: waktu maks per keyword (default 90 detik).
images.max: jumlah maksimum gambar disimpan per artikel (default 8). images.concurrency = batch paralel gambar.
export.grouping.size: maksimal artikel per grup saat split (default 500). Related post & sitemap mengikuti grup.
export.templates.extensions berisi ["blade.php7"] agar template tidak ikut terenkripsi ionCube.
domain (opsional): bila diisi, canonical URL & sitemap menggunakan domain absolut.

Kustom Template (Blade .blade.php7)

File berada di writable/blade/theme/ dengan ekstensi .blade.php7. Nama view:

Layout: theme.layout → layout.blade.php7
Index : theme.index → index.blade.php7
Artikel: theme.article → article.blade.php7

Variabel di view article:

TITLE, SLUG, DB_NAME, DESCRIPTION, CANONICAL_URL
IMAGES (array: url,title,alt,source,domain,width,height,filetype)
PARAGRAPHS (sudah diacak), PARAGRAPHS_ALL (urutan asli)
RELATED (array: slug,title,url)

Catatan: Export akan skip artikel yang tidak lengkap (harus ada gambar & paragraf).

Helper Template (Shortcut)

Untuk menulis Blade lebih singkat, tersedia helper global:

paragraphs_pick(array $paragraphs, int $n=2, bool $shuffle=true, ?int $minLen=null, ?int $maxLen=null): array
tpl_pick(array $arr, int $n=2, bool $shuffle=true, ?int $minLen=null, ?int $maxLen=null): array
tpl_shuffled(array $arr): array
pickp(...) — alias singkat untuk paragraphs_pick

Contoh: 2 paragraf acak di bawah tiap gambar

@foreach($IMAGES as $img)
  <img src="{{ $img['url'] }}" alt="{{ $img['alt'] ?? $TITLE }}" class="img-fluid rounded mb-2">
  @foreach(paragraphs_pick($PARAGRAPHS_ALL, 2) as $p)
    <p class="mb-2">{{ $p }}</p>
  @endforeach
@endforeach

Contoh: Filter panjang 80–300, ambil 3

@foreach(paragraphs_pick($PARAGRAPHS_ALL, 3, true, 80, 300) as $p)
  <p>{{ $p }}</p>
@endforeach

Contoh: Ambil 4 gambar acak

@foreach(tpl_pick($IMAGES, 4) as $img)
  <img src="{{ $img['url'] }}" alt="{{ $img['alt'] ?? $TITLE }}" class="img-fluid">
@endforeach

Hasil Export

Per artikel: export/<db>/<slug>.html
Index grup: export/<db>/index.html, index-g2.html, dst.
Sitemap per grup: export/<db>/sitemap-g1.xml, dst.
Sitemap index per DB: export/<db>/sitemap.xml
Sitemap global (opsional; jika domain diisi): export/sitemap.xml

Index & paragraf diacak saat export untuk variasi natural.

Troubleshooting

PHP not found: pastikan php ada di PATH (php -v).
cURL error 28 / timeout: jaringan lambat/diblok. Coba ulang, kecilkan min_results, atau set proxy di config.json.
Hasil kosong: keyword terlalu spesifik. Ubah keyword atau naikkan duckduckgo.max_per_query_seconds.
Export tidak muncul: pastikan status artikel done (scrape gambar + artikel harus sukses).
Template tidak terbaca: pastikan ekstensi .blade.php7 & nama view cocok (theme.article → article.blade.php7).

FAQ

Q: Bisa tambah keyword ke DB yang sudah ada?
A: Ya. Jalankan convert lagi—sistem menambah keyword baru dan mengabaikan duplikat.

Q: Apa itu niche?
A: niche diisi dari nama file keywords. Dipakai untuk grouping/label di DB.

Q: Bagaimana menghapus semuanya?
A: Jalankan clean. Hati-hati, ini menghapus cache Blade, folder export, dan semua file .sqlite.

Q: Bisa export tanpa split?
A: Ya. export <db> false. Sitemap & related post mengikuti grup (tanpa split = 1 grup).

Prasyarat