Cara kami periksa

1. Kerja sebenar, bukan benchmark Inggeris

Setiap model diuji pada kerja yang penjual Malaysia betul-betul buat — balas complaint, tulis caption, translate BM formal, description Shopee, jawab DM. Soalan ujian dikunci selepas ujian pertama supaya tiada siapa boleh ubah soalan selepas keputusan keluar.

2. Prompt yang adil — sama untuk semua model

Setiap kerja ada satu arahan sistem BM standard (contoh: “balas secara terus sebagai penjual — satu balasan sahaja”), dan arahan yang sama diberi kepada setiap model. Tanpa peraturan ini, sesetengah model menjawab “berikut beberapa draf pilihan…” dan kalah bukan kerana kebolehan, tapi kerana tekaan niat. (Ujian kalibrasi pertama kami pada 17 Julai 2026 menemui isu ini; batch itu dibuang sepenuhnya sebelum sebarang undian atau penerbitan.)

3. Dua penilai: orang Malaysia + rubrik

Skor setiap model pada setiap kerja ialah gabungan 60% undian buta orang Malaysia dan 40% markah rubrik oleh model penilai. Undian diberi berat lebih — kerja Malaysia dinilai orang Malaysia.

• Undian buta: pengundi nampak dua jawapan tanpa nama model, pilih yang lebih baik (atau “seri” / “dua-dua teruk” — dua-dua teruk dikira kalah untuk kedua-duanya). Nama model hanya didedah selepas undi. Satu sesi hanya boleh undi satu pasangan sekali, dan kadar undian dihadkan ikut sesi dan IP.
• Model penilai (judge): GPT-5.4 mini menanda setiap jawapan 0–100 ikut rubrik setiap kerja (rubrik didokumen, sama untuk semua model). Identitinya sentiasa dizahirkan di sini. Model penilai tidak menanda jawapannya sendiri — sebab itu ia tidak layak digred dan tidak muncul dalam mana-mana keputusan. Markah yang gagal diproses dibuang, bukan dikira sifar.

4. Cut-off gred

Skor gabungan 0–100 dipetakan ke gred. “Lulus” bermakna C ke atas; D/E/G kami tunjuk seadanya — tak lulus, tak sembunyi. Skala yang sama digunakan untuk gred kerja dan SPM AI.

5. Bila gred layak diterbit

Gred hanya diterbit selepas sekurang-kurangnya 30 undian untuk pasangan model-kerja itu, dan ditanda provisional sehingga 100 undian. Gred dikira semula oleh jadual berkala, bukan setiap kali undian masuk — tiada gred berubah depan mata sebab satu undi.

6. “Pilihan berbaloi” = termurah yang lulus

Bukan model terbaik — model paling murah yang masih lulus. Model percuma dikira paling murah (dan dipapar “percuma (had kadar)”, bukan RM0, sebab had kadar itu kos juga). Gred provisional tidak layak jadi pilihan berbaloi.

7. Kos telus, mata wang anda

Kos dipapar sebagai RM bagi setiap 1,000 kerja, dikira daripada token sebenar setiap ujian dan harga rasmi penyedia API, dengan kadar tukaran USD→MYR yang dirakam pada tarikh pengiraan (kadar itu disimpan bersama setiap gred — kos tak berubah senyap-senyap).

8. SPM AI

Acara tahunan: semua model menduduki kertas gaya SPM — soalan asli yang kami tulis, bukan kertas peperiksaan sebenar. Dua sebab: hak cipta, dan soalan lama mungkin sudah ada dalam data latihan model — soalan baru bermakna tiada model boleh “hafal jawapan”. Setiap jawapan ditanda model penilai ikut rubrik kertas (markah gagal dibuang, bukan sifar); markah kertas ialah purata semua soalan. Gred keseluruhan ialah purata berwajaran; Bahasa Melayu dan Kerja Jualan diberi berat 1.5 kali kerana itulah kegunaan sebenar penjual. Soalan dikunci selepas peperiksaan pertama, dan model yang tak menduduki semua kertas tidak disenaraikan dalam ranking.

9. Tajaan tidak pernah sentuh gred

Model boleh menaja halaman atau tuntut profil mereka, tetapi tiada bayaran boleh mengubah gred, kedudukan, atau pilihan berbaloi. Kalau peraturan ini berubah, ia akan diumum di halaman ini dahulu.