Sebuah artikel di Majalah Sains

diterbitkan pada pertengahan Januari menjelaskan metode non-sepele dalam memata-matai pengguna ponsel cerdas melalui sensor cahaya sekitar. Semua ponsel cerdas dan tablet memiliki komponen ini di dalamnya — seperti halnya kebanyakan laptop dan TV. Tugas utamanya adalah merasakan jumlah cahaya sekitar di lingkungan tempat perangkat berada, dan mengubah kecerahan layar sesuai dengan itu.

Namun pertama-tama kita perlu menjelaskan mengapa pelaku ancaman menggunakan alat yang tidak tepat untuk menangkap rekaman, bukan kamera biasa pada perangkat target. Pasalnya, sensor yang “tidak pantas” biasanya tidak terlindungi sama sekali. Bayangkan seorang penyerang menipu pengguna agar menginstal program jahat di ponsel cerdasnya. Malware akan kesulitan mendapatkan akses ke komponen yang sering menjadi sasaran, seperti mikrofon atau kamera. Tapi ke sensor cahaya? Mudah sekali.

Jadi, para peneliti membuktikan bahwa sensor cahaya sekitar ini bisa digunakan sebagai pengganti kamera; misalnya untuk mendapatkan gambar tangan pengguna yang memasukkan PIN pada keyboard virtual. Secara teori, dengan menganalisis data tersebut, dimungkinkan untuk merekonstruksi kata sandi itu sendiri. Posting ini menjelaskan seluk beluknya dalam bahasa sederhana.

“Ambil gambar” dengan sensor cahaya. Sumber

Sensor cahaya adalah teknologi yang relatif primitif. Ini adalah fotosel peka cahaya untuk mengukur kecerahan cahaya sekitar beberapa kali per detik. Kamera digital menggunakan sensor cahaya yang sangat mirip (walaupun lebih kecil), namun jumlahnya jutaan. Lensa memproyeksikan gambar ke matriks fotosel ini, kecerahan setiap elemen diukur, dan hasilnya adalah gambar digital. Oleh karena itu, sensor cahaya dapat digambarkan sebagai kamera digital paling primitif yang pernah ada: resolusinya tepat satu piksel. Bagaimana hal seperti itu bisa menangkap apa yang terjadi di sekitar perangkat?

Para peneliti menggunakan prinsip timbal balik Helmholtz yang dirumuskan pada pertengahan abad ke-19ke abad. Prinsip ini banyak digunakan dalam grafik komputer, misalnya, yang sangat menyederhanakan penghitungan. Pada tahun 2005, prinsip tersebut menjadi dasar usulan metode fotografi ganda. Mari kita ambil ilustrasi dari makalah ini untuk membantu menjelaskan:

Di sebelah kiri adalah gambar sebenarnya dari objek tersebut.  Di sebelah kanan adalah gambar yang dihitung dari sudut pandang sumber cahaya.

Di sebelah kiri adalah gambar sebenarnya dari objek tersebut. Di sebelah kanan adalah gambar yang dihitung dari sudut pandang sumber cahaya. Sumber

Bayangkan Anda sedang mengambil gambar suatu benda di atas meja. Sebuah cahaya menyinari suatu benda, cahaya yang dipantulkan mengenai lensa kamera, dan hasilnya adalah sebuah gambar. Tidak ada yang aneh. Pada ilustrasi di atas, gambar di sebelah kiri akurat — foto biasa. Selanjutnya, dalam istilah yang sangat sederhana, para peneliti mulai memvariasikan kecerahan lampu dan mencatat perubahan pencahayaan. Hasilnya, mereka mengumpulkan informasi yang cukup untuk merekonstruksi gambar di sebelah kanan — diambil seolah-olah dari sudut pandang lampu. Tidak ada kamera pada posisi ini dan tidak pernah ada, namun dilihat dari pengukurannya, pemandangan tersebut berhasil direkonstruksi.

Yang terbaik dari semuanya, trik ini bahkan tidak memerlukan kamera. Resistor foto sederhana akan berfungsi… seperti yang ada pada sensor cahaya sekitar. Fotoresistor (atau “kamera piksel tunggal”) mengukur perubahan cahaya yang dipantulkan dari objek, dan data ini digunakan untuk membuat gambarnya. Kualitas gambar akan rendah, dan banyak pengukuran yang harus dilakukan — jumlahnya bisa mencapai ratusan atau ribuan.

Pengaturan eksperimen

Penyiapan eksperimental: tablet Samsung Galaxy View dan tangan tiruan. Sumber

Mari kembali ke ruang kerja dan sensor cahaya. Penulis makalah ini menggunakan tablet Samsung Galaxy View yang relatif besar dengan layar 17 inci. Berbagai pola persegi panjang hitam putih ditampilkan di layar tablet. Manekin ditempatkan menghadap layar sebagai pengguna memasukkan sesuatu pada keyboard di layar. Sensor cahaya mendeteksi perubahan kecerahan. Dalam beberapa ratus pengukuran tersebut, gambar tangan manekin dihasilkan. Artinya, penulis menggunakan prinsip timbal balik Helmholtz untuk memperoleh gambaran tangan yang diambil seolah-olah dari sudut pandang layar. Para peneliti secara efektif mengubah tampilan tablet menjadi kamera berkualitas sangat rendah.

Membandingkan objek sebenarnya di depan tablet dengan apa yang ditangkap oleh sensor cahaya.

Membandingkan objek sebenarnya di depan tablet dengan apa yang ditangkap oleh sensor cahaya. Sumber

Benar, bukan gambar yang paling tajam. Gambar di sebelah kiri menunjukkan apa yang harus diambil: dalam satu kasus, telapak tangan manekin yang terbuka; di sisi lain, bagaimana “pengguna” muncul saat mengetuk sesuatu di layar. Gambar di tengah adalah “foto” yang direkonstruksi dengan resolusi 32×32 piksel, yang hampir tidak ada yang terlihat – terlalu banyak noise pada data. Namun dengan bantuan algoritma pembelajaran mesin, noise tersebut telah disaring untuk menghasilkan gambar di sebelah kanan, di mana kita dapat membedakan posisi tangan yang satu dengan tangan lainnya. Penulis makalah ini memberikan contoh lain dari isyarat umum yang dilakukan orang-orang saat menggunakan layar sentuh tablet. Atau lebih tepatnya, contoh bagaimana mereka berhasil “memotret” mereka:

Tangkap berbagai posisi tangan menggunakan sensor cahaya.

Tangkap berbagai posisi tangan menggunakan sensor cahaya. Sumber

Jadi bisakah kita menggunakan metode ini dalam praktik? Apakah mungkin memantau cara pengguna berinteraksi dengan layar sentuh tablet atau ponsel cerdas? Bagaimana cara mereka memasukkan teks pada keyboard di layar? Bagaimana cara mereka memasukkan detail kartu kredit? Bagaimana cara mereka membuka aplikasi? Untungnya, semuanya tidak sesederhana itu. Perhatikan keterangan di atas “foto” pada ilustrasi di atas. Mereka menunjukkan betapa lambatnya metode ini bekerja. Dalam skenario terbaik, para peneliti dapat merekonstruksi “foto” tangan hanya dalam tiga menit. Gambar pada ilustrasi sebelumnya membutuhkan waktu 17 menit untuk diambil. Pengawasan real-time dengan kecepatan seperti itu tidak mungkin dilakukan. Sekarang juga sudah jelas mengapa sebagian besar eksperimen menampilkan tangan manekin: manusia tidak bisa memegang tangan mereka diam selama itu.

Namun hal itu tidak menutup kemungkinan metode tersebut diperbaiki. Mari kita pikirkan skenario terburuknya: jika setiap gambar tangan dapat diperoleh bukan dalam tiga menit, tetapi dalam, katakanlah, setengah detik; jika keluaran di layar bukanlah gambar hitam-putih yang aneh, melainkan video atau sekumpulan gambar atau animasi yang menarik minat pengguna; dan jika pengguna melakukan sesuatu yang layak untuk diintip… — maka serangan itu akan masuk akal. Tapi meski begitu – itu tidak masuk akal. Semua upaya peneliti terhambat oleh kenyataan bahwa jika penyerang berhasil memasukkan malware ke perangkat korban, ada banyak cara yang lebih mudah untuk mengelabui mereka agar memasukkan kata sandi atau nomor kartu kredit. Mungkin untuk pertama kalinya dalam liputan seperti itu (contoh: satu, dua, tiga, empat), kami kesulitan membayangkan skenario kehidupan nyata untuk serangan semacam itu.

Yang bisa kita lakukan hanyalah mengagumi keindahan metode yang diusulkan. Penelitian ini menjadi pengingat lain bahwa perangkat yang tampak biasa dan tidak mencolok di sekitar kita ternyata memiliki fungsi yang luar biasa dan kurang diketahui. Namun, bagi mereka yang khawatir dengan potensi pelanggaran privasi ini, solusinya sederhana. Gambar berkualitas rendah tersebut disebabkan oleh fakta bahwa sensor cahaya relatif jarang melakukan pengukuran: 10–20 kali per detik. Data keluarannya juga kurang akurat. Namun, itu hanya relevan untuk mengubah sensor menjadi kamera. Untuk tugas utama – mengukur cahaya sekitar – angka ini terlalu tinggi. Kita dapat melakukan “kasar” data lebih jauh lagi — mengirimkannya, katakanlah, lima kali per detik, bukan 20 kali. Untuk menyesuaikan kecerahan layar dengan tingkat cahaya sekitar, ini sudah lebih dari cukup. Namun memata-matai sensor – sudah mustahil – tidak mungkin dilakukan. Mungkin yang terbaik.


#Menggunakan #sensor #cahaya #sekitar #untuk #mematamatai