INTISARI-BASE-V1 adalah LLM - LARGE LANGUAGE MODEL BAHASA INDONESIA berukuran sangat kecil yang dilatih dari awal menggunakan causal language modeling / next-token prediction. Model ini dirancang untuk mempelajari pola bahasa, struktur kalimat, kosakata, dan text continuation dalam Bahasa Indonesia.
Coba model secara langsung:
| Parameters | ~10.1M |
| Training Samples | 10000 |
| Context Length | 512 tokens |
| Epochs | 10 |
| Validation Loss | 0.584 |
| Validation Perplexity | 1.79 |
| Validation Accuracy | 90.6% |
vocab_size: 8196
n_layers: 10
n_heads: 8
hidden_dim: 256
ffn_dim: 768
context_length: 512
activation: SwiGLU
normalization: RMSNorm
Model ini menggunakan arsitektur Transformer decoder standar dengan ~10M parameter. Ukuran yang sangat kecil ini dipilih untuk eksperimen dasar pada tiny language model.
Model dilatih dari awal menggunakan Flatbuild. Training terdiri dari 10 epoch dengan ~10K samples. Validation metrics terus membaik hingga epoch terakhir.
| Epoch | Val Loss | PPL | Accuracy |
|---|---|---|---|
| 1 | 3.408 | 30.21 | 41.4% |
| 2 | 2.522 | 12.46 | 53.5% |
| 3 | 1.953 | 7.05 | 63.3% |
| 4 | 1.558 | 4.75 | 70.8% |
| 5 | 1.250 | 3.49 | 76.8% |
| 6 | 1.010 | 2.74 | 81.9% |
| 7 | 0.838 | 2.31 | 85.5% |
| 8 | 0.710 | 2.03 | 88.2% |
| 9 | 0.632 | 1.88 | 89.7% |
| 10 | 0.584 | 1.79 | 90.6% |
Model diuji dengan 100 prompt menggunakan greedy decoding (temperature=0, max_new_tokens=80).
Chart ini menampilkan topic adherence, distribusi panjang generation, dan vocabulary diversity.
Chart ini menampilkan repetition rate per n-gram dan degeneration rate.
- continuation Bahasa Indonesia yang dapat dikenali
- pola kalimat umum mulai terlihat
- asosiasi topik dasar terbentuk
- local coherence mulai tampak
- repetition dan looping (23% degeneration rate)
- topic drift (91%)
- semantic inconsistency
- factual errors
- malformed/nonsensical phrases
- long-range coherence masih lemah
INTISARI-BASE-V1 dilatih menggunakan causal language modeling / next-token prediction. Model tidak dilatih untuk mengikuti instruksi atau melakukan percakapan. Karena itu, output seperti text continuation yang aneh, topic drift, atau factual error merupakan keterbatasan yang perlu diperhatikan.
Model ini dapat menjadi foundation untuk eksperimen berikutnya seperti instruction tuning atau conversational fine-tuning.
- hanya ~10M parameter
- dataset relatif kecil (9,962 samples)
- coverage pengetahuan sangat terbatas
- repetition dan looping masih terjadi (23%)
- topic drift cukup tinggi
- factual errors ditemukan
- coherence masih terbatas
- belum instruction-tuned
Eksperimen ini menjawab pertanyaan: "Seberapa jauh model yang sangat kecil dapat mempelajari struktur Bahasa Indonesia dari dataset yang sangat kecil?"
Hasil menunjukkan:
- validation loss mencapai 0.584
- perplexity mencapai 1.79
- accuracy mencapai 90.6%
- model sudah menghasilkan continuation Bahasa Indonesia yang dapat dikenali
- tetapi generation quality belum setara dengan model yang lebih besar
- token-level metrics tidak sama dengan kualitas generasi
Eksperimen berikutnya sebaiknya lebih dahulu meningkatkan:
- kualitas dataset
- diversity dataset
- deduplication
- semantic consistency
- generation stability
- long-range coherence
flatbuild generate outputs/intisari-base-v1/.../checkpoints/final \
--prompt "Indonesia merupakan" \
--max-new 80 \
--temperature 0.8Model diuji dengan 100 prompt dari berbagai kategori.
Prompt
Indonesia merupakan
Output
Indonesia merupakan salah satu bentuk seni rupa tradisional asal Sunda. Lukisan ini biasa digunakan untuk menghiasi, serta memiliki peran penting dalam mengembangkan kemampuan untuk mengembangkan kemampuan untuk menggambarkan keadaan keamanan dan keamanan masyarakat. Dalam konteks Indonesia, sawah ini dapat hidup dan jadi, serta keadaan kebaktisan dan kebaktisan masyarakat. Dengan demikian, museum ini dapat dibedakan menjadi beberapa tingkat, salah satu adalah tingkat dasar, tingkat menengah, dan tingkat tinggi. ke wilayah-
Prompt
Pada tahun 1945
Output
Pada tahun 1945, Indonesia berhasil memenangkan medali emas pada kabur mereka berikan. Mereka mengadakan berbagai jenis, seperti Portugis, soto, dan lain-lain. Dengan demikian, mereka lebih dekat dengan dunia sekitar daerah-daerah di Nusantara, seperti Bali, Lombok, dan lain-lain. Dengan demikian, Nusantara telah menjadi simbol budaya, kebudayaan yang dapat menikmati kekuasaan paling besar di Nusantara. Dengan demikian, kebudayaan Nusantara memiliki pengaruh besar terhadap
Prompt
Energi terbarukan
Output
Energi terbarukan adalah salah satu cara untuk meningkatkan efisiensi keuangan, meningkatkan keuangan, dan meningkatkan kualitas hidup masyarakat. Tapi, apa itu mengumpulkan keuntungan, yaitu keuntungan tidak dapat menghemat biaya, karena kekurangan sumber daya. Saya juga dapat dengan lebih efisien, terutama dengan menggunakan fintech dengan lebih efisien. Saya juga harus lebih fleksibel, lebih mudah, dan memiliki kelemahan keuangan. Kedua, kita harus memiliki kelemahan. Kita harus lebih fleksibel, yaitu kekurangan
Prompt
Teknologi merupakan
Output
Teknologi merupakan salah satu bentuk investasi utama polusi di Indonesia. Dengan cara ini, UMKM dapat meningkatkan kualitas hidup masyarakat dengan menjadikan kebutuhan sehari-hari, seperti beras, jagung, dan lain-lain. Namun, keuntungan juga memiliki kelemahan, seperti kelemahan keuangan, kekurangan keamanan, dan kelemahan dalam menghadapi kekurangan. Oleh karena itu, perlu diingat bahwa keuntungan yang menjadi keuntungan bagi masyarakat, seperti risiko keuangan yang tidak memiliki kelemahan keuangan, seperti
Prompt
Ekonomi Indonesia
Output
Ekonomi Indonesia telah membantu banyak orang untuk menghemat waktu dan meningkatkan kualitas keuangan, terutama mereka yang memiliki kelemahan waktu atau keuangan yang terbatas. Dengan e-commerce, seseorang dapat belajar kapan saja, mengakses informasi, dan mengakses informasi keuangan dengan mudah. Tidak hanya itu, e-commerce juga dapat membantu kita untuk meningkatkan kualitas hidup seseorang. Kita harus lebih mudah, kita harus lebih mudah dan lebih efisien. Tidak ada lagi menggunakan e-
Apache 2.0
Dilatih dari scratch menggunakan Flatbuild