แบบจำลองไม่ได้ทำงานกับคำโดยตรง แต่ใช้โทเคน ซึ่งเป็นชิ้นส่วนของคำ โดยภาษาอังกฤษเฉลี่ยประมาณสี่ตัวอักษร ความหมายจึงกลายเป็นสายของชิ้นส่วนแทนที่จะเป็นหน่วยเดียว รายละเอียดเล็ก ๆ นี้มีผลที่มองเห็นได้ และเป็นส่วนหนึ่งที่ทำให้แบบจำลองเคยนับตัวอักษรในคำหรือกลับลำดับข้อความได้ไม่ดี เพราะมันไม่ได้เห็นตัวอักษรแบบที่คุณเห็น
ระหว่างการฝึก แบบจำลองจะเห็นข้อความมหาศาลที่ซ่อนบางส่วนไว้และต้องทำนายส่วนที่หายไป เมื่อทายผิด พารามิเตอร์ภายในจะถูกปรับเล็กน้อย ทำซ้ำกับข้อความจำนวนมากบนอินเทอร์เน็ต การปรับเหล่านี้สะสมจนแบบจำลองซึมซับรูปแบบเชิงสถิติของภาษา ทั้งโครงสร้างคำอธิบาย วิธีเขียนโค้ด และวิธีสร้างข้อโต้แย้ง
เมื่อคุณส่งข้อความ ข้อความนั้นรวมกับบทสนทนาก่อนหน้าจะกลายเป็นบริบท แบบจำลองทำนายโทเคนถัดไป เติมเข้าไป และทำซ้ำจนตัดสินว่าคำตอบจบแล้ว มันไม่ได้ค้นคืนข้อมูลหรือให้เหตุผลแบบมนุษย์ แม้แบบจำลองใหม่จะถูกฝึกให้สร้างขั้นตอนกลางก่อนตอบ ซึ่งช่วยให้ทำโจทย์หลายขั้นตอนได้ดีขึ้น
หลังการฝึกหลัก แบบจำลองจะผ่านขั้นตอนเพิ่มเติมที่กำหนดพฤติกรรมมากกว่าความรู้ เช่น เรียนรู้ให้ทำตามคำสั่ง ช่วยเหลือ และปฏิเสธคำขอบางประเภท จึงเป็นเหตุผลที่แบบจำลองสองตัวซึ่งฝึกจากเนื้อหาคล้ายกันอาจให้ความรู้สึกต่างกันมาก บุคลิกที่คุณรับรู้ส่วนใหญ่เกิดจากขั้นตอนนี้ ไม่ใช่สถาปัตยกรรมพื้นฐาน
