TLDR
Model AI penalaran dapat meningkatkan akurasi dan keandalan dalam bidang tertentu. Kolaborasi antara laboratorium AI dan akademia dapat menghasilkan penelitian yang lebih baik. Benchmarking AI saat ini perlu diperbaiki untuk mencerminkan kemampuan model secara akurat. Noam Brown, pemimpin penelitian AI di OpenAI, mengatakan bahwa model AI yang dapat "berpikir" seperti o1 seharusnya sudah ada 20 tahun yang lalu jika para peneliti mengetahui pendekatan dan algoritma yang tepat. Brown menjelaskan bahwa manusia sering berpikir sebelum bertindak dalam situasi sulit, dan pendekatan ini bisa sangat berguna untuk AI. Model o1 menggunakan teknik yang disebut "test-time inference" untuk meningkatkan akurasi dan keandalan, terutama dalam bidang matematika dan sains. Meskipun sebelumnya banyak fokus pada pelatihan model yang lebih besar, sekarang para peneliti juga menggabungkan pendekatan ini dengan test-time inference.Brown juga membahas tantangan yang dihadapi akademisi dalam melakukan penelitian AI karena keterbatasan sumber daya komputasi. Namun, ia percaya bahwa ada peluang untuk kolaborasi antara laboratorium AI terdepan dan akademisi, terutama dalam bidang desain arsitektur model. Ia menyoroti pentingnya benchmarking AI, yang saat ini dianggap buruk dan tidak memerlukan banyak komputasi untuk diperbaiki. Benchmark yang lebih baik dapat membantu memahami kemampuan model AI dengan lebih jelas.
