Komputasi Paralel

Apa itu Komputasi Paralel?

Komputasi Seri:

• Secara tradisional, perangkat lunak telah ditulis untuk perhitungan serial:

o   Masalah dipecah menjadi serangkaian instruksi tersendiri

o   Instruksi dieksekusi secara berurutan satu demi satu

o   Dieksekusi pada satu prosesor

o   Hanya satu instruksi yang dapat dijalankan kapan saja

Sebagai contoh:

Komputasi Paralel:

• Dalam arti paling sederhana, komputasi paralel adalah penggunaan simultan sumber daya komputasi ganda untuk memecahkan masalah komputasi:

o   Masalah dipecah menjadi bagian-bagian terpisah yang dapat diselesaikan secara bersamaan

o   Setiap bagian selanjutnya dipecah menjadi serangkaian instruksi

o   Instruksi dari setiap bagian dijalankan secara bersamaan pada prosesor yang berbeda

o   Mekanisme kontrol / koordinasi keseluruhan digunakan

Sebagai contoh:

• Masalah komputasi harus dapat:
• Dipecah menjadi bagian-bagian pekerjaan yang terpisah yang dapat diselesaikan secara bersamaan;
• Menjalankan beberapa instruksi program kapan saja dalam waktu;
• Dipecahkan dalam waktu yang lebih singkat dengan banyak sumber daya komputasi dibandingkan dengan sumber daya komputasi tunggal.
• Sumber daya komputasi biasanya:
• Satu komputer dengan banyak prosesor / core
• Jumlah yang sewenang-wenang dari komputer semacam itu yang terhubung oleh jaringan

Komputer Paralel:

• Hampir semua komputer yang berdiri sendiri saat ini sejajar dengan perspektif perangkat keras:
• Beberapa unit fungsional (L1 cache, L2 cache, cabang, prefetch, decode, floating-point, pemrosesan grafik (GPU), integer, dll)
• Beberapa unit / inti eksekusi
• Beberapa utas perangkat keras

IBM BG / Q Compute Chip dengan 18 core (PU) dan 16 L2 Cache unit (L2)

• Jaringan menghubungkan beberapa komputer yang berdiri sendiri (node) untuk membuat cluster komputer paralel yang lebih besar.

• Sebagai contoh, skema di bawah ini menunjukkan cluster komputer paralel LLNL khas:
• Setiap node komputasi adalah komputer paralel multi-prosesor itu sendiri
• Beberapa node penghitungan jaringan bersama-sama dengan jaringan Infiniband
• Node tujuan khusus, juga multi-prosesor, digunakan untuk tujuan lain

• Mayoritas komputer paralel besar di dunia (superkomputer) adalah kelompok perangkat keras yang diproduksi oleh segelintir vendor (kebanyakan) terkenal.