96% code gw ditulis sama AI: membedah statistik usage, cost, dan impactnya

Share:
Copy Link
Whatsapp
Twitter
Share
Clap!
53

stats this week

96% code gw ditulis sama AI dalam seminggu terakhir.

bakar 30.5M tokens atau sekitar $273.

terlihat menarik, gw mau sedikit membedah angka2nya, terutama yg berkaitan dengan engineering.

mari kita bahas~


sebelum itu, mungkin perlu dilihat juga data minggu lalu, kurang lebih kisaran segini per week nya:

AI usage: 96% - 97%
Tokens: 29M - 30M
Cost: $261 - $273

stats prev week

lanjut~

1. quality

96% ini angka yg cukup tinggi saat ini, karena rata2 orang AI usage-nya di sekitar 25% - 43%

apakah itu bagus/jelek? menurut gw belum tentu keduanya

karna yg lebih berpengaruh itu ada di human reviewnya yg saat ini ada di 70% dengan follow up rate di angka 6%

stats human review

apa artinya 70% review rate? kalo dari data ini, angkanya diambil dari file yg ada aktivitas manusianya setelah code nya di-generate

artinya dari code yg gw generate pake AI, sebagian besar masih gw review

di luar sana bbrp orang bilang udah ga baca code (vibecoders), gw sih masih peduli dengan code πŸ˜…

bukan artinya gw peduli dengan baris per barisnya, tapi gw peduli dengan apa yg AI lakukan ke codebase gw

gw ga mau AI merusak, nyampah, atau bahkan bikin masalah ke client/user gw

generating code dan engineering software itu dua hal berbeda

poin pentingnya justru di sisi manusia memahami requirement, mencocokan dengan keseluruhan arsitektur, melakukan review/validasi/testing, dan pastinya:

"menghapus AI slop"

vibecoders yg ga liat codebase bilang mereka validasi dilakukan langsung dengan manual testing / QA di aplikasi/website yg dibuatnya

coba deh, kita lihat beberapa tahun lagi, pure vibecoders ini masih bisa bertahan apa ngga produknya, banyak komplain apa ngga, lemot apa ngga

gw ga bilang semua vibecoders jelek, gw yakin ada juga yg bagus.

terutama yg bener2 bikin spec dengan detail, testing yg bener2 menyeluruh, dan ada sedikit kemauan untuk setidaknya memahami apa yg AI nya kerjakan di balik layar

tapi intinya, mau itu "engineer yg bener2 tanpa AI πŸ‘€" atau "vibecoders yg full pakai AI", kalo human-in-the-loop-nya cukup tinggi, entah itu dari human code review, atau testing manual, menurut gw itu yg menentukan kualitas dari hasilnya

selain itu, di project2 gw, meskipun human review nya lumayan kenceng, gw dan tim gw juga masangin constraint dimana2, biar bagian yg ga ke-review tetap ada yg jagain

terutama di CI/CD sebelum release, wajib bgt ada proses build, lint, unit test, dan e2e test~

nih, unit test dan e2e test di salah satu project 🀣

unit test e2e test

2. cost

kebanyakan engineers/vibecoders yg gw lihat, masih sering pada komplain terhadap token yg selalu kena limit

selain karna kemampuan daya beli tiap orang beda2, menurut gw ada hal lain yg bisa di-optimize, tanpa perlu berpikir keras untuk gimana nge-optimize-nya

kalo melihat data gw di atas tiap minggu gw menghabiskan sekitar 30M tokens, atau sekitar $270. kalo sebulan sekitar $1080. alias setahun sekitar Rp230jt πŸ₯²

tapi nyatanya gw ga menghabiskan segitu 😁

kebetulan gw pake Cursor Pro, dan bbrp kali gw dapet promo code (total worth $100), jadi selama 5 bulan cost gw bener2 $0

tapi september ini harusnya udah balik normal ke $20.

sehingga kalo anggap aja gaada promo, full cursor setahun cuma $240, alias Rp4jt 🀣

invoice history

oiya, sampai saat ini, gw gapernah ngerasain cooldown kena limit

kenapa gitu? di Cursor itu kalo udah mentok limit 100%, masih bisa digunakan, tapi responsenya "katanya" jadi lambat, tapi ya gw jg ga merasakan lambatnya, sekali prompt 1-5menit beres, jadi sejauh ini fine2 aja

cursor usage

gw ga tau apakah ada model yg berbeda yg dipake antara yg masih dalam limit vs yg udah lewat limit

tp sejauh ini gw set modelnya Auto, which di belakang pake Composer-nya Cursor, dan gw lumayan satisfied dgn hasilnya sejauh ini, tanpa perlu bayar Opus Fable Sol Astra dsb~

3. prompt & token

di luar soal Cursor, kita coba liat data tokens dan prompt length deh di data gw di atas

average users seminggu 20 AI prompts, prompt length 10k chars. tapi somehow tokensnya 66M

sedangkan gw seminggu sampe 600 prompts, 95k chars, 30M tokens

agak aneh ya? di sini seperti ada sesuatu yg bikin gw jadi hemat token, sehingga bisa ngeprompt lebih banyak dan lebih panjang

average users ~3.3M tokens/prompt

gw sekitar ~50k tokens/prompt

terlalu efisien! wkwk

menariknya lagi, average users input token nya (65M) lebih besar dari output token (150k), sedangkan gw rata2 seimbang antara input (15M) dan output (15M)

orang2 somehow token inputnya gede bgt, tapi jumlah promptnya kecil bgt, kok bisa?

analisis tebak2an gw sih, ini karena gw rajin nge-manage context

untuk setiap topik yg berbeda, gw selalu bikin sesi agent baru

tujuannya adalah: biar contextnya selalu kecil

kalo context kecil artinya apa? tokens usagenya kecil! dan apa? bisa prompt lebih banyak. hemat cost!

dalam 1 sesi AI agent, penggunaan tokennya bisa dari: prompt, conversation, reasoning, code, files, tool call, mcp, dst dst

maka dari itu, kalo chat udah panjang, mendingan bikin sesi baru, agent yg baru gaperlu tau tentang detail2 dari conversation sebelumnya~

mungkin karena gw punya background engineering, gw secara ga langsung tuh tau apa yg dilakukan LLM ini

LLM hanyalah mesin yg memprediksi kata berikutnya, dari input keluar output, jadi ya jangan ditreat bener2 seperti manusia yg bisa diajak ngobrol dan menyimpan context seabrek

justru kalo contextnya kebanyakan, makanya malah banyak orang yg dapet hasil halusinasi dari AI nya

karna jd kecampur2 tuh topiknya, misal yg awalnya ngerjain website toko sepatu, trus hari ini ngerjain finance tracker app, jgn kaget kalo tiba2 ada unsur sepatu di dalamnya 🀣

selain itu, prompt lah dalam bahasa inggris.

tokens usage lo akan naik signifikan kalo pake bahasa indonesia, karna LLM dilatih mostly dari english text, dan tokenizationnya optimized di situ

gw sempet liat data atau researchnya, tapi lupa dimana, kalo ketemu gw attach ke sini deh~

4. scope

yg masih gw liat di beberapa engineer, dengan dibantu AI justru membuat mereka jadi semakin sering scope creep, alias nambah2 fitur, ngefix2 sesuatu, yg sebetulnya di luar dari scope requirement yg ad

di satu sisi mungkin ada bagusnya, karna kadang requirement ga selalu sempurna, banyak edge cases penting yg perlu dihandle, ada fitur2 kecil yg membuat experience penggunanya jadi lebih bagus dsb

tapi di sisi lain, di sebagian kasus lainnya, justru penambahan2 ini justru jadi over-engineering dan malah berisiko untuk terjadinya kendala di masa depan

analisis tebak2an gw, ini yg ada di bayangan gw kalo melihat perbedaan progress development sebuah software sebelum AI vs di jaman AI

no ai vs ai

yg pake AI, sekali ngeprompt tuh most likely udah langsung jebret selesai, bahkan kadang melewati apa yg di-expect

makanya di gambar tersebut gw mengilustrasikan:

tanpa AI: progress berjalan incremental, mendaki dari 0% sampai 100%. kalo ga dipolish, ya completenessnya mungkin di sekitar 70%-90%

pake AI: sekali generate bisa nyentuh 125% completeness, ditambah macem2, sampe 150%, lalu proses polishnya adalah membuang sampah2 slop-nya, membuang redundancy dan menyamakan consistency struktur/format/styling dengan keseluruhan project, sehingga completenessnya turun ke 100% sesuai ekspektasi. kalo ga dipolish, ya ada sisa2 slopnya dan berada di kisaran 110%-130%.

AI itu suka rendundancy, kadang text yg menjadi perintah/requirement kita aja suka dirender dan ditampilkan ke user 🀦

bagian human lah yg tau context dan requirementnya

dan bagi human yg paham engineeringnya, akan tau juga part mana yg perlu dibuang/diadjust, part mana yg perlu di-keep, terutama di bagian struktur dan code nya~ itulah kenapa human review masih penting

5. impact

apa sih impact yg gw buat dengan memiliki data seperti di atas?

dalam sebulan terakhir, gw megang lebih dari 10 projects, ada yg berjalan bersamaan ataupun bergantian

sebagian besar dihandle oleh engineers, sisanya gw handle sendiri dengan AI agents

sudah pasti kalo di jaman sebelum AI, ini hampir tidak mungkin

dengan AI aja di beberapa waktu gw berasa hampir mau mati gara2 begadang sampe jam 5 pagi 3 hari berturut2 (bagian ini jangan ditiru, ga sehat, tidak work-life balance, saat ini gw sangat mengusahakan ini ga kejadian lagi 🀣)

tapi hasilnya bagi gw sangat2 memuaskan, client happy, user happy, portfolio bagus, dan yg penting mendatangkan $$$ πŸ’ΈπŸ’Έ

ya intinya segitu dah impactnya penggunaan AI gw dengan data tersebut




memang ya, di jaman AI orang2 malah kerja lebih banyak, gara2 berasa nge-unlock superpower yg selama ini terpendam, selama ini gabisa ngambil banyak project dikarenakan masalah waktu, effort, dan skill

mungkin cukup sekian, tulisan yg sengaja gw buat imperfect, karena semuanya gw tulis manual

merasakan kembali jaman menulis sebelum AI, dengan bahasa indonesia santai, tanpa perlu ngepolish, wkwkwk 🀣

Share:
Copy Link
Whatsapp
Twitter
Share
Clap!
53