Banyak orang sudah bereksperimen dengan jaringan saraf generatif dan menemukan kegunaannya secara rutin, termasuk di tempat kerja. Misalnya, ChatGPT dan analognya digunakan secara rutin oleh hampir 60% orang Amerika (dan tidak selalu dengan izin dari manajemen). Namun, semua data yang terlibat dalam operasi tersebut – baik perintah pengguna maupun respons model – disimpan di OpenAI, Google, dan server lainnya. Untuk tugas-tugas yang kebocoran informasinya tidak dapat diterima, Anda tidak perlu meninggalkan AI sepenuhnya — Anda hanya perlu menginvestasikan sejumlah upaya (dan mungkin uang) untuk menjalankan jaringan saraf secara lokal di komputer Anda sendiri – bahkan di laptop.

Ancaman awan

Asisten AI paling populer dijalankan pada infrastruktur cloud perusahaan besar. Ini efisien dan cepat, namun data Anda yang diproses oleh model ini mungkin dapat diakses oleh penyedia layanan AI dan pihak yang sama sekali tidak terkait, seperti yang terjadi tahun lalu dengan ChatGPT.

Insiden semacam ini menghadirkan berbagai tingkat ancaman tergantung pada kegunaan asisten AI tersebut. Jika Anda membuat ilustrasi lucu untuk beberapa dongeng yang Anda tulis, atau meminta ChatGPT membuat rencana perjalanan untuk liburan kota akhir pekan mendatang, kebocoran tidak akan menyebabkan kerusakan serius. Namun, jika percakapan Anda dengan chatbot berisi informasi rahasia – data pribadi, kata sandi, atau nomor kartu bank – kemungkinan kebocoran ke cloud tidak lagi dapat diterima. Untungnya, pencegahannya cukup mudah dengan pra-filter data — kami telah menulis postingan terpisah tentang hal itu.

Namun, dalam kasus di mana semua korespondensi bersifat rahasia (misalnya, informasi medis atau keuangan), atau keandalan pra-penyaringan dipertanyakan (Anda perlu memproses data dalam jumlah besar yang tidak akan dipratinjau dan difilter oleh siapa pun), hanya ada satu solusi : memindahkan pemrosesan dari cloud ke komputer lokal. Tentu saja, menjalankan ChatGPT atau Midjourney versi Anda sendiri secara offline sepertinya tidak akan berhasil, tetapi jaringan neural lain yang bekerja secara lokal memberikan kualitas yang sebanding dengan beban komputasi yang lebih sedikit.

Perangkat keras apa yang Anda perlukan untuk menjalankan jaringan saraf?

Anda mungkin pernah mendengar bahwa bekerja dengan jaringan saraf memerlukan kartu grafis yang sangat kuat, namun dalam praktiknya hal ini tidak selalu terjadi. Model AI yang berbeda, bergantung pada spesifikasinya, mungkin memerlukan komponen komputer seperti RAM, memori video, drive, dan CPU (di sini, tidak hanya kecepatan pemrosesan yang penting, tetapi juga dukungan prosesor untuk instruksi vektor tertentu). Kemampuan memuat model bergantung pada jumlah RAM, dan ukuran “jendela konteks” — yaitu memori percakapan sebelumnya — bergantung pada jumlah memori video. Biasanya, dengan kartu grafis dan CPU yang lemah, pembuatannya terjadi dengan sangat cepat (satu hingga dua kata per detik untuk model teks), sehingga komputer dengan pengaturan minimal seperti itu hanya cocok untuk membiasakan diri Anda dengan model tertentu dan mengevaluasi dasar-dasarnya. kesesuaian. Untuk penggunaan sehari-hari penuh, Anda perlu menambah RAM, mengupgrade kartu grafis, atau memilih model AI yang lebih cepat.

Sebagai permulaan, Anda bisa mencoba bekerja dengan komputer yang dinilai cukup bertenaga di tahun 2017: prosesor minimal Core i7 dengan dukungan instruksi AVX2, RAM 16 GB, dan kartu grafis dengan memori minimal 4 GB. Untuk penggemar Mac, model yang menjalankan chip Apple M1 dan yang lebih baru akan baik-baik saja, sedangkan kebutuhan memorinya sama.

Saat memilih model AI, Anda harus terlebih dahulu memahami persyaratan sistemnya. Kueri penelusuran seperti “nama model persyaratan” akan membantu Anda menilai apakah model ini layak diunduh mengingat perangkat keras yang tersedia. Ada studi terperinci yang tersedia tentang pengaruh ukuran memori, CPU, dan GPU terhadap kinerja berbagai model; misalnya yang ini.

Kabar baik bagi mereka yang tidak memiliki akses ke perangkat keras canggih — terdapat model AI yang disederhanakan yang dapat melakukan tugas-tugas praktis bahkan pada perangkat keras lama. Meskipun kartu grafis Anda sangat mendasar dan lemah, model dan lingkungan peluncuran dapat dijalankan hanya dengan menggunakan CPU. Tergantung pada tugas Anda, ini juga dapat bekerja dengan baik.

Tes pemrosesan GPU

Contoh bagaimana berbagai konstruksi komputer bekerja dengan model bahasa populer

Memilih model AI dan keajaiban kuantisasi

Berbagai model bahasa tersedia saat ini, namun sebagian besar memiliki penerapan praktis yang terbatas. Namun, ada alat AI yang mudah digunakan dan tersedia secara terbuka yang cocok untuk tugas tertentu, baik itu menghasilkan teks (misalnya, Mistral 7B), atau membuat cuplikan kode (misalnya, Kode Llama 13B). Oleh karena itu, saat memilih model, persempit pilihan menjadi beberapa kandidat yang sesuai, lalu pastikan komputer Anda memiliki sumber daya yang diperlukan untuk menjalankannya.

Di jaringan saraf mana pun, sebagian besar beban memori disebabkan oleh bobot — koefisien numerik yang menggambarkan pengoperasian setiap neuron dalam jaringan. Awalnya, saat melatih model, bobot dihitung dan disimpan sebagai bilangan pecahan dengan presisi tinggi. Namun, ternyata pembulatan bobot pada model yang dilatih memungkinkan alat AI berjalan di komputer biasa namun hanya sedikit mengurangi performa. Proses pembulatan ini disebut kuantisasi, dan dengan bantuannya, ukuran model dapat dikurangi secara signifikan — alih-alih 16 bit, setiap bobot dapat menggunakan delapan, empat, atau dua bit.

Menurut penelitian saat ini, model yang lebih besar dengan lebih banyak parameter dan kuantisasi terkadang dapat memberikan hasil yang lebih baik dibandingkan model dengan penyimpanan bobot yang akurat tetapi parameternya lebih sedikit.

Berbekal pengetahuan ini, Anda kini siap menjelajahi harta karun model bahasa sumber terbuka, papan peringkat Open LLM teratas. Dalam daftar ini, alat AI diurutkan berdasarkan beberapa metrik kualitas generasi dan filter memudahkan untuk mengecualikan model yang terlalu besar, terlalu kecil, atau terlalu akurat.

Daftar model bahasa diurutkan berdasarkan kumpulan filter

Daftar model bahasa diurutkan berdasarkan kumpulan filter

Setelah membaca deskripsi model dan memastikan model tersebut sesuai dengan kebutuhan Anda, uji kinerjanya di cloud menggunakan layanan Face Hugging atau Google Colab. Dengan cara ini, Anda dapat menghindari pengunduhan model yang memberikan hasil yang tidak memuaskan, sehingga menghemat waktu Anda. Setelah Anda puas dengan pengujian awal model, sekarang saatnya melihat cara kerjanya secara lokal!

Perangkat lunak yang diperlukan

Sebagian besar model sumber terbuka dipublikasikan di Hugging Face, tetapi mengunduhnya ke komputer saja tidak cukup. Untuk menjalankannya, Anda perlu menginstal perangkat lunak khusus, seperti LLaMA.cpp, atau — lebih sederhananya — “pembungkusnya”, LM Studio. Yang terakhir memungkinkan Anda memilih model yang Anda inginkan langsung dari aplikasi, mengunduhnya, dan menjalankannya dalam kotak dialog.

Cara lain yang “out of the box” untuk menggunakan chatbots secara lokal adalah GPT4All. Di sini, pilihannya terbatas pada sekitar selusin model bahasa, namun sebagian besar dapat dijalankan bahkan pada komputer dengan memori hanya 8 GB dan kartu grafis dasar.

Jika pembangkitannya terlalu lambat, Anda mungkin memerlukan model dengan kuantisasi yang lebih kasar (dua bit, bukan empat). Jika pembangkitan terganggu atau terjadi kesalahan eksekusi, masalahnya sering kali adalah memori yang tidak mencukupi — ada baiknya mencari model dengan parameter yang lebih sedikit atau, sekali lagi, dengan kuantisasi yang lebih kasar.

Banyak model di Hugging Faces telah dikuantisasi dengan tingkat akurasi yang berbeda-beda, namun jika belum ada yang mengkuantifikasi model yang Anda inginkan hingga akurasi yang diinginkan, Anda dapat melakukannya sendiri menggunakan GPTQ.

Minggu ini, alat menjanjikan lainnya dirilis ke versi beta publik: Ngobrol Dengan RTX dari NVIDIA. Pembuat chip AI yang paling banyak dicari ini telah merilis chatbot lokal yang mampu merangkum konten video YouTube, memproses kumpulan dokumen, dan banyak lagi — asalkan pengguna memiliki PC Windows dengan memori 16 GB dan NVIDIA RTX 30ke atau 40ke kartu grafis serial dengan memori video 8 GB atau lebih. “Under the hood” adalah tipe yang sama dari Mistral dan Llama 2 dari Hugging Face. Tentu saja, kartu grafis yang kuat dapat meningkatkan kinerja generasi tersebut, namun menurut feedback dari penguji pertama, beta yang ada cukup kompleks (sekitar 40GB) dan sulit untuk diinstal. Namun, NVIDIA Chat With RTX bisa menjadi asisten AI lokal yang sangat berguna di masa depan.

Kode untuk permainan tersebut "Ular"ditulis oleh model bahasa terkuantisasi TheBloke/CodeLlama-7B-Instruct-GGUF

Kode untuk permainan “Snake”, ditulis oleh model bahasa terkuantisasi TheBloke/CodeLlama-7B-Instruct-GGUF

Aplikasi yang tercantum di atas melakukan semua perhitungan secara lokal, tidak mengirim data ke server dan dapat dijalankan secara offline sehingga Anda dapat dengan aman berbagi informasi rahasia dengan mereka. Namun, untuk sepenuhnya melindungi diri Anda dari kebocoran, Anda perlu memastikan tidak hanya keamanan model bahasa tetapi juga komputer Anda – dan di situlah solusi keamanan komprehensif kami berperan. Sebagaimana dikonfirmasi dalam pengujian independen, Kaspersky Premium praktis tidak berpengaruh. pada kinerja komputer Anda — sebuah keuntungan penting saat bekerja dengan model AI lokal.


#Cara #menjalankan #model #bahasa #dan #alat #lainnya #secara #lokal #komputer #Anda

Ditulis oleh Dexter Shin

MoqHao adalah keluarga malware Android terkenal yang terkait dengan kelompok aktor ancaman Roaming Mantis yang pertama kali ditemukan pada tahun 2015. Tim Riset Seluler McAfee juga telah memposting beberapa artikel terkait dengan keluarga malware yang biasanya menargetkan negara-negara Asia seperti Korea dan Jepang.

Baru-baru ini Tim Peneliti Seluler McAfee menemukan bahwa MoqHao mulai mendistribusikan varian menggunakan teknik yang sangat berbahaya. Pada dasarnya cara pendistribusiannya sama. Mereka mengirimkan tautan untuk mengunduh aplikasi berbahaya melalui pesan SMS. MoqHao reguler mengharuskan pengguna untuk menginstal dan meluncurkan aplikasi untuk mendapatkan tujuan yang diinginkan, namun varian baru ini tidak memerlukan implementasi. Saat aplikasi dipasang, aktivitas jahatnya dimulai secara otomatis. Teknik ini diperkenalkan di a posisi sebelumnya namun perbedaannya adalah teknik berbahaya ini kini disalahgunakan oleh kampanye malware aktif terkenal seperti MoqHao. Kami telah melaporkan teknik ini ke Google dan mereka berupaya menerapkan mitigasi untuk mencegah jenis eksekusi otomatis ini di versi Android mendatang. Pengguna Android kini dilindungi oleh Google Play Lindungi, yang diaktifkan secara default di perangkat Android dengan Layanan Google Play. Google Play Protect dapat memperingatkan pengguna atau memblokir aplikasi yang diketahui menunjukkan perilaku berbahaya, meskipun aplikasi tersebut berasal dari sumber di luar Play. McAfee Mobile Security mendeteksi ancaman ini sebagai Android/MoqHao.

Bagaimana dia mendistribusikanD

MoqHao didistribusikan melalui pesan SMS phishing (juga dikenal sebagai Smishing). Saat pengguna menerima pesan SMS yang berisi tautan berbahaya dan mengekliknya, perangkat akan mengunduh aplikasi berbahaya tersebut. Pesan phishingnya hampir sama dengan kampanye sebelumnya:

diagram 1. Pesan smishing yang menyamar sebagai notifikasi dari a kurir melayani.

Pesan Jepang: Saya pergi ke alamat pengiriman, tetapi tidak ada orang di sana. Jadi, saya membawanya kembali.

Salah satu perubahan penting adalah mereka sekarang menggunakan layanan pemendekan URL. Jika pembuat malware menggunakan domainnya sendiri, domain tersebut dapat diblokir dengan cepat tetapi jika mereka menggunakan layanan pemendekan URL yang sah, akan sulit untuk memblokir domain pendek karena dapat memengaruhi semua URL yang digunakan oleh layanan tersebut. Ketika pengguna mengeklik tautan dalam pesan, ia dialihkan ke situs jahat sebenarnya oleh layanan pemendekan URL.

Apa yang baru di varian ini

Seperti disebutkan di awal, varian ini berperilaku berbeda dari varian sebelumnya. MoqHao normal harus diluncurkan secara manual oleh pengguna setelah diinstal tetapi varian ini diluncurkan secara otomatis setelah instalasi tanpa interaksi pengguna:

diagram 2. Perbedaan antara MoqHao biasa dan MoqHao Modern

Kami menjelaskan ini eksekusi otomatis teknik secara rinci di A posisi sebelumnya Tetapi ke Secara singkat meringkaskan di sini, Android dirancang sedemikian rupa sehingga ketika sebuah aplikasi diinstal dan nilai spesifik yang digunakan oleh aplikasi tersebut disetel menjadi unik, kode akan dijalankan untuk memeriksa apakah nilainya unik selama instalasi. Tmilik dia fitur adalah yang itu menjadi disalahgunakan oleh keluarga Trojan yang sangat aktif MoqHao untuk mengeksekusi dirinya sendiri secara otomatis tanpa interaksi pengguna. Itu distribusi, instalasi, dan eksekusi otomatis ini baru-baru ini MoqHao bermacam-macam dapat dilihat pada video berikut ini:

Di sisi lain tangan, ini baru-baru ini MoqHao bermacam-macam menggunakan Unikode string dalam nama aplikasi berbeda dari sebelumnya. ini teknik membuat beberapa karakter terlihat berani, namun pengguna mengenalinya secara visual sebagai “Chrome”. Hal ini dapat memengaruhi teknik deteksi berbasis nama aplikasi yang membandingkan nama aplikasi (Krom) dan nama paket (com.android.chrome):

diagram 3. Nama aplikasi yang digunakan Unikode rangkaian.

Selain itu, mereka juga menggunakan teknik rekayasa sosial untuk menetapkan aplikasi berbahaya sebagai aplikasi SMS default. Sebelum jendela pengaturan muncul, mereka menampilkan pesan yang memberitahu Anda untuk mengatur aplikasi yang akan diblokir spam, Btapi pesan ini palsu:

diagram 4. Pesan palsu menggunakan rekayasa sosial teknik.

Juga, yang mana berbagai bahasa yang digunakan dalam teks terkait dengan perilaku ini menunjukkan hal itu, selain Jepang, mereka juga menargetkan Korea Selatan, Prancis, Jerman, dan India:

diagram 5. Pesan palsu dirancang untuk menargetkan berbeda negara.

Setelah yang awal mula malware tersebut adalah Selesai, dia menginginkan membuat saluran notifikasi itu akan digunakan untuk menampilkan pesan phishing:

diagram 6. Buat saluran notifikasi untuk hal berikutnya pengelabuan menyerang

Itu perangkat lunak perusak periksa operator perangkat dan gunakan pemberitahuan ini untuk mengirim pesan phishing yang sesuai tipuan pengguna ke dalam klikTn pada mereka. MoqHao Bisa yang pesan phishing dan URL phishing dari profil PinterestS.

diagram 7. Pesan dan URL phishing di profil Pinterest

Jika string phishing kosong, MoqHao akan menggunakan pesan phishing dalam kode:

diagram 8. Kode notifikasi phishing untuk setiap operator

Varian ini juga terhubung ke server C2 melalui WebSocket. Namun, telah dikonfirmasi bahwa beberapa perintah lain telah ditambahkan selain perintah yang diperkenalkan di dalamnya posisi sebelumnya:

Memesan Keterangan
dapatkanSmsKW Kirim semua pesan SMS ke server C2
Kirim SMS Kirim pesan SMS ke seseorang
mengatur Wifi Aktifkan/nonaktifkan Wifi
gcont Kirim semua kontak ke server C2
kunci Simpan nilai Boolean di kunci “kunci” di SharedPreferences
SM Periksa status SIM
set Maju Simpan nilai String di kunci “fs” di SharedPreferences
maju Dapatkan nilai String di kunci “fs” di SharedPreferences
memiliki Pkg Periksa paket spesifik yang diinstal pada perangkat
setRingerMode Atur mode Suara/Getar/Diam
setRecEnable Atur mode Getar/Diam sesuai versi SDK
reqState Kirim informasi perangkat (Jaringan, Daya, MAC, Izin) ke server C2
tunjukkanRumah Klik tombol Tiru Beranda
dapatkanpki Kirim Sertifikat Publik Korea (NPKI) ke server C2
http Kirim permintaan HTTP
panggilan Hubungi nomor tertentu dengan mode Senyap
dapatkan_aplikasi Dapatkan daftar paket yang diinstal
ping Periksa status server C2
dapatkan PhoneState Dapatkan informasi unik seperti IMEI, nomor SIM, ID Android dan nomor seri
dapatkan_foto Kirim semua foto ke server C2

Keluarga malware MoqHao adalah malware aktif yang telah ada selama bertahun-tahun. Meskipun bertahun-tahun telah berlalu, mereka semakin banyak menggunakan cara berbeda untuk menyembunyikan dan menjangkau pengguna. Kami melihat jumlah perintah C2 yang jauh lebih tinggi dibandingkan sebelumnya, penggunaan aktif situs sah seperti Pinterest untuk menyimpan dan memperbarui data phishing, dan kode potensial untuk menargetkan negara-negara Asia seperti Jepang dan Korea Selatan, serta negara-negara seperti Perancis, Jerman dan India. Selain itu, kami memperkirakan varian baru ini akan memberikan dampak yang besar karena dapat menginfeksi perangkat hanya dengan melakukan instalasi tanpa eksekusi.

Sulit bagi pengguna umum untuk menemukan aplikasi palsu menggunakan ikon dan nama aplikasi yang sah, jadi kami menyarankan pengguna menginstal perangkat lunak yang aman untuk melindungi perangkat mereka. Untuk informasi lebih lanjut, kunjungi Keamanan Seluler McAfee.

Indikasi Kompromi (IOC)

SHA256 nama aplikasi Nama paket
2576a166d3b18eafc2e35a7de3e5549419d10ce62e0eeb24bad5a1daaa257528 Babya ampun gb.pi.xcxr.xd
61b4cca67762a4cf31209056ea17b6fb212e175ca330015d804122ee6481688e HM malmkb.zdbd.ivakf.lrhrgf
b044804cf731cd7dd79000b7c6abce7b642402b275c1eb25712607fc1e5e3d2b CM vfqhqd.msk.xux.njs
bf102125a6fca5e96aed855b45bed9aa0bc964198ce207f2e63a71487ad793a chro hohoj.vlcwu.lm.ext
e72f46f15e50ce7cee5c4c0c5a5277e8be4bb3dd23d08ea79e1deacb8f004136 jame enech.hg.rrfy.wrlpp
f6323f8d8cfa4b5053c65f8c1862a8e6844b35b260f61735b3cf8d19990fef42 kre gqjoyp.cixq.zbh.llr


#Evolusi #MoqHao #Varian #baru #dimulai #secara #otomatis #segera #setelah #instalasi