96% code gw ditulis sama AI dalam seminggu terakhir.
bakar 30.5M tokens atau sekitar $273.
terlihat menarik, gw mau sedikit membedah angka2nya, terutama yg berkaitan dengan engineering.
mari kita bahas~
sebelum itu, mungkin perlu dilihat juga data minggu lalu, kurang lebih kisaran segini per week nya:
AI usage: 96% - 97%
Tokens: 29M - 30M
Cost: $261 - $273
lanjut~
1. quality
96% ini angka yg cukup tinggi saat ini, karena rata2 orang AI usage-nya di sekitar 25% - 43%
apakah itu bagus/jelek? menurut gw belum tentu keduanya
karna yg lebih berpengaruh itu ada di human reviewnya yg saat ini ada di 70% dengan follow up rate di angka 6%
apa artinya 70% review rate? kalo dari data ini, angkanya diambil dari file yg ada aktivitas manusianya setelah code nya di-generate
artinya dari code yg gw generate pake AI, sebagian besar masih gw review
di luar sana bbrp orang bilang udah ga baca code (vibecoders), gw sih masih peduli dengan code π
bukan artinya gw peduli dengan baris per barisnya, tapi gw peduli dengan apa yg AI lakukan ke codebase gw
gw ga mau AI merusak, nyampah, atau bahkan bikin masalah ke client/user gw
generating code dan engineering software itu dua hal berbeda
poin pentingnya justru di sisi manusia memahami requirement, mencocokan dengan keseluruhan arsitektur, melakukan review/validasi/testing, dan pastinya:
"menghapus AI slop"
vibecoders yg ga liat codebase bilang mereka validasi dilakukan langsung dengan manual testing / QA di aplikasi/website yg dibuatnya
coba deh, kita lihat beberapa tahun lagi, pure vibecoders ini masih bisa bertahan apa ngga produknya, banyak komplain apa ngga, lemot apa ngga
gw ga bilang semua vibecoders jelek, gw yakin ada juga yg bagus.
terutama yg bener2 bikin spec dengan detail, testing yg bener2 menyeluruh, dan ada sedikit kemauan untuk setidaknya memahami apa yg AI nya kerjakan di balik layar
tapi intinya, mau itu "engineer yg bener2 tanpa AI π" atau "vibecoders yg full pakai AI", kalo human-in-the-loop-nya cukup tinggi, entah itu dari human code review, atau testing manual, menurut gw itu yg menentukan kualitas dari hasilnya
selain itu, di project2 gw, meskipun human review nya lumayan kenceng, gw dan tim gw juga masangin constraint dimana2, biar bagian yg ga ke-review tetap ada yg jagain
terutama di CI/CD sebelum release, wajib bgt ada proses build, lint, unit test, dan e2e test~
nih, unit test dan e2e test di salah satu project π€£
2. cost
kebanyakan engineers/vibecoders yg gw lihat, masih sering pada komplain terhadap token yg selalu kena limit
selain karna kemampuan daya beli tiap orang beda2, menurut gw ada hal lain yg bisa di-optimize, tanpa perlu berpikir keras untuk gimana nge-optimize-nya
kalo melihat data gw di atas tiap minggu gw menghabiskan sekitar 30M tokens, atau sekitar $270. kalo sebulan sekitar $1080. alias setahun sekitar Rp230jt π₯²
tapi nyatanya gw ga menghabiskan segitu π
kebetulan gw pake Cursor Pro, dan bbrp kali gw dapet promo code (total worth $100), jadi selama 5 bulan cost gw bener2 $0
tapi september ini harusnya udah balik normal ke $20.
sehingga kalo anggap aja gaada promo, full cursor setahun cuma $240, alias Rp4jt π€£
oiya, sampai saat ini, gw gapernah ngerasain cooldown kena limit
kenapa gitu? di Cursor itu kalo udah mentok limit 100%, masih bisa digunakan, tapi responsenya "katanya" jadi lambat, tapi ya gw jg ga merasakan lambatnya, sekali prompt 1-5menit beres, jadi sejauh ini fine2 aja
gw ga tau apakah ada model yg berbeda yg dipake antara yg masih dalam limit vs yg udah lewat limit
tp sejauh ini gw set modelnya Auto, which di belakang pake Composer-nya Cursor, dan gw lumayan satisfied dgn hasilnya sejauh ini, tanpa perlu bayar Opus Fable Sol Astra dsb~
3. prompt & token
di luar soal Cursor, kita coba liat data tokens dan prompt length deh di data gw di atas
average users seminggu 20 AI prompts, prompt length 10k chars. tapi somehow tokensnya 66M
sedangkan gw seminggu sampe 600 prompts, 95k chars, 30M tokens
agak aneh ya? di sini seperti ada sesuatu yg bikin gw jadi hemat token, sehingga bisa ngeprompt lebih banyak dan lebih panjang
average users ~3.3M tokens/prompt
gw sekitar ~50k tokens/prompt
terlalu efisien! wkwk
menariknya lagi, average users input token nya (65M) lebih besar dari output token (150k), sedangkan gw rata2 seimbang antara input (15M) dan output (15M)
orang2 somehow token inputnya gede bgt, tapi jumlah promptnya kecil bgt, kok bisa?
analisis tebak2an gw sih, ini karena gw rajin nge-manage context
untuk setiap topik yg berbeda, gw selalu bikin sesi agent baru
tujuannya adalah: biar contextnya selalu kecil
kalo context kecil artinya apa? tokens usagenya kecil! dan apa? bisa prompt lebih banyak. hemat cost!
dalam 1 sesi AI agent, penggunaan tokennya bisa dari: prompt, conversation, reasoning, code, files, tool call, mcp, dst dst
maka dari itu, kalo chat udah panjang, mendingan bikin sesi baru, agent yg baru gaperlu tau tentang detail2 dari conversation sebelumnya~
mungkin karena gw punya background engineering, gw secara ga langsung tuh tau apa yg dilakukan LLM ini
LLM hanyalah mesin yg memprediksi kata berikutnya, dari input keluar output, jadi ya jangan ditreat bener2 seperti manusia yg bisa diajak ngobrol dan menyimpan context seabrek
justru kalo contextnya kebanyakan, makanya malah banyak orang yg dapet hasil halusinasi dari AI nya
karna jd kecampur2 tuh topiknya, misal yg awalnya ngerjain website toko sepatu, trus hari ini ngerjain finance tracker app, jgn kaget kalo tiba2 ada unsur sepatu di dalamnya π€£
selain itu, prompt lah dalam bahasa inggris.
tokens usage lo akan naik signifikan kalo pake bahasa indonesia, karna LLM dilatih mostly dari english text, dan tokenizationnya optimized di situ
gw sempet liat data atau researchnya, tapi lupa dimana, kalo ketemu gw attach ke sini deh~
4. scope
yg masih gw liat di beberapa engineer, dengan dibantu AI justru membuat mereka jadi semakin sering scope creep, alias nambah2 fitur, ngefix2 sesuatu, yg sebetulnya di luar dari scope requirement yg ad
di satu sisi mungkin ada bagusnya, karna kadang requirement ga selalu sempurna, banyak edge cases penting yg perlu dihandle, ada fitur2 kecil yg membuat experience penggunanya jadi lebih bagus dsb
tapi di sisi lain, di sebagian kasus lainnya, justru penambahan2 ini justru jadi over-engineering dan malah berisiko untuk terjadinya kendala di masa depan
analisis tebak2an gw, ini yg ada di bayangan gw kalo melihat perbedaan progress development sebuah software sebelum AI vs di jaman AI
yg pake AI, sekali ngeprompt tuh most likely udah langsung jebret selesai, bahkan kadang melewati apa yg di-expect
makanya di gambar tersebut gw mengilustrasikan:
tanpa AI: progress berjalan incremental, mendaki dari 0% sampai 100%. kalo ga dipolish, ya completenessnya mungkin di sekitar 70%-90%
pake AI: sekali generate bisa nyentuh 125% completeness, ditambah macem2, sampe 150%, lalu proses polishnya adalah membuang sampah2 slop-nya, membuang redundancy dan menyamakan consistency struktur/format/styling dengan keseluruhan project, sehingga completenessnya turun ke 100% sesuai ekspektasi. kalo ga dipolish, ya ada sisa2 slopnya dan berada di kisaran 110%-130%.
AI itu suka rendundancy, kadang text yg menjadi perintah/requirement kita aja suka dirender dan ditampilkan ke user π€¦
bagian human lah yg tau context dan requirementnya
dan bagi human yg paham engineeringnya, akan tau juga part mana yg perlu dibuang/diadjust, part mana yg perlu di-keep, terutama di bagian struktur dan code nya~ itulah kenapa human review masih penting
5. impact
apa sih impact yg gw buat dengan memiliki data seperti di atas?
dalam sebulan terakhir, gw megang lebih dari 10 projects, ada yg berjalan bersamaan ataupun bergantian
sebagian besar dihandle oleh engineers, sisanya gw handle sendiri dengan AI agents
sudah pasti kalo di jaman sebelum AI, ini hampir tidak mungkin
dengan AI aja di beberapa waktu gw berasa hampir mau mati gara2 begadang sampe jam 5 pagi 3 hari berturut2 (bagian ini jangan ditiru, ga sehat, tidak work-life balance, saat ini gw sangat mengusahakan ini ga kejadian lagi π€£)
tapi hasilnya bagi gw sangat2 memuaskan, client happy, user happy, portfolio bagus, dan yg penting mendatangkan $$$ πΈπΈ
ya intinya segitu dah impactnya penggunaan AI gw dengan data tersebut
memang ya, di jaman AI orang2 malah kerja lebih banyak, gara2 berasa nge-unlock superpower yg selama ini terpendam, selama ini gabisa ngambil banyak project dikarenakan masalah waktu, effort, dan skill
mungkin cukup sekian, tulisan yg sengaja gw buat imperfect, karena semuanya gw tulis manual
merasakan kembali jaman menulis sebelum AI, dengan bahasa indonesia santai, tanpa perlu ngepolish, wkwkwk π€£