Baca artikel di balik payway dengan menyamar sebagai Googlebot

Internet berada pada titik kritis. Terus meningkatnya adblocking telah mengakhiri model pendapatan yang hanya mengandalkan dolar iklan untuk mengoperasikan situs web dan bisnis.

Terutama situs-situs berita telah mulai bereksperimen dengan cara-cara untuk mendiversifikasi sumber-sumber pendapatan, dan satu opsi yang menonjol bahwa situs-situs seperti The Wall Street Journal, Financial Times, The New York Times atau The Washington Post semuanya telah diimplementasikan adalah sistem paywall.

Ada beberapa jenis paywalls tetapi mereka semua memiliki kesamaan yang memblokir akses ke konten baik secara langsung atau setelah sejumlah artikel telah dibaca di situs.

Pengunjung kemudian diminta untuk berlangganan ke situs untuk melanjutkan membaca artikel tentang itu.

Ini mungkin masuk akal dari sudut pandang bisnis, dan mungkin lebih menguntungkan daripada melawannya dengan pengguna yang menjalankan adblockers, tetapi ada kelemahannya baik untuk situs paywalled dan pengguna yang diblokir.

Situs kehilangan persentase pengunjung yang tinggi jika mereka menerapkan sistem paywall. Tidak jelas seberapa tinggi persentase sebenarnya, dan mungkin bervariasi dari situs ke situs, tetapi kemungkinan jauh lebih tinggi daripada persentase pengunjung yang berlangganan ke situs setelah disajikan dengan pilihan untuk berlangganan untuk membaca artikel yang diinginkan.

Masquerade peramban Anda

Bukan rahasia lagi bahwa situs berita memungkinkan akses ke agregator berita dan mesin pencari. Jika Anda memeriksa Berita Google atau Pencarian misalnya, Anda akan menemukan artikel dari situs dengan paywalls terdaftar di sana.

Di masa lalu, situs berita memungkinkan akses ke pengunjung yang datang dari agregator berita utama seperti Reddit, Digg atau Slashdot, tetapi praktik itu tampaknya sama saja dengan mati sekarang.

Trik lain, untuk menyisipkan judul artikel ke mesin pencari untuk membaca cerita yang di-cache secara langsung, sepertinya tidak berfungsi dengan baik lagi, dan artikel-artikel di situs-situs dengan paywalls biasanya tidak di-cache lagi.

Pembaruan : Wall Street Journal mengumumkan akan menutup lubang yang dijelaskan di bawah ini. Anda masih dapat membaca artikel di balik paywall situs namun menggunakan metode berikut:

  1. Tekan F12 ketika Anda berada di halaman artikel dengan artikel yang terpotong, dan permintaan untuk berlangganan untuk membacanya secara penuh.
  2. Buka tab konsol.
  3. Rekatkan javascript: window.location = "// m.facebook.com/l.php?u="+encodeURIComponent(window.location.href);
  4. Tekan enter.

Halaman harus dimuat ulang, dan artikel harus dimuat penuh. Anda juga dapat memposting tautan artikel di Facebook, misalnya dalam posting baru yang hanya dapat Anda lihat. Mengklik tautan yang diposting akan memuat artikel itu sepenuhnya di situs web The Wall Street Journal.

Agen-Pengguna dan Perujuk

Anda mungkin bertanya-tanya bagaimana situs memblokir atau mengizinkan akses ke konten situs. Metode telah meningkat selama bertahun-tahun, dan tidak lagi cukup dengan hanya mengubah perujuk browser ke //www.google.com/ untuk mendapatkan akses penuh ke konten situs.

Sebagai gantinya, situs menggunakan berbagai pemeriksaan yang mencakup agen pengguna, pengarah, dan cookie, dan terkadang bahkan lebih dari itu, untuk menentukan legitimasi akses.

Informasi Umum

Mungkin cara terbaik untuk menyamarkan browser adalah membuatnya tampak seperti Googlebot.

  • Perujuk: //www.google.com/
  • User-Agent: Mozilla / 5.0 (kompatibel; Googlebot / 2.1; + // www.google.com/bot.html

Firefox

Pengguna Firefox memerlukan dua add-on browser untuk itu: yang pertama, RefControl, untuk mengubah nilai pengarah ketika mengunjungi situs berita, yang kedua, User Agent Switcher, untuk mengubah agen pengguna browser.

  1. Unduh dan instal kedua ekstensi di browser web Firefox.
  2. Ketuk pada Alt-key, dan pilih Tools> RefControl Options.
  3. Klik "tambah situs", masukkan nama domain di bawah situs, pilih tindakan khusus, dan masukkan //www.google.com/ sebagai pengarah.
  4. Ulangi ini untuk semua situs berita yang ingin Anda akses (beberapa mungkin tidak berfungsi bahkan jika Anda membuat perubahan, jadi ingatlah itu).
  5. Setelah selesai, tutup jendela konfigurasi.
  6. Ketuk tombol Alt lagi, dan pilih Peralatan> Agen Pengguna Default> Edit Agen Pengguna dari menu.
  7. Pilih Baru> Agen Pengguna, dan ganti string di bidang Agen Pengguna dengan Mozilla / 5.0 (kompatibel; Googlebot / 2.1; + // www.google.com/bot.html). Beri nama Googlebot.
  8. Keluar dari menu.
  9. Sebelum Anda mengakses situs-situs ini, ketuk pada Alt, dan pilih Default User Agent> Googlebot.

Ini semua yang ada untuk itu. Sangat disayangkan bahwa tidak ada ekstensi untuk Firefox yang mengubah agen pengguna secara otomatis berdasarkan situs yang Anda kunjungi.

Google Chrome

Pengguna Google Chrome dapat menginstal ekstensi seperti User Agent Switcher dan Referer Control yang tersedia untuk browser untuk melakukan hal yang sama.

Namun ada kemungkinan lain, dan itu adalah untuk membuat ekstensi khusus yang mengotomatiskan proses di browser.

Instruksi diberikan pada Elaineou. Yang diperlukan, pada dasarnya, adalah membuat direktori baru di komputer lokal, membuat dua file background.js dan manifest.json di dalamnya, dan menyalin dan menempelkan kode yang ditemukan di situs ke dalam file.

Anda perlu mengaktifkan "mode pengembang" pada chrome: // extensions /, dan kemudian dapat memilih "load extension yang belum dibongkar" untuk memilih folder tempat Anda membuat dua file untuk memuat ekstensi di Chrome.

Anda dapat mengubah daftar situs yang didukungnya untuk menambahkan yang baru.