Generative AI in Action, interactively

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.11%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%22%2C%0A%23%20%20%20%20%20%22altair%3E%3D5.0.0%22%2C%0A%23%20%20%20%20%20%22pandas%3E%3D2.0.0%22%2C%0A%23%20%20%20%20%20%22numpy%3E%3D1.26.0%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0A%22%22%22Interactive%20companion%20to%20the%20blog%20post%20reviewing%0A%22Generative%20AI%20in%20Action%22%20by%20Amit%20Bahree%20(Manning%2C%202024).%0A%0ASix%20teaching%20widgets%20plus%20a%20poll.%20No%20LLM%20calls%20anywhere%3A%0Aevery%20behavior%20is%20simulated%20so%20the%20notebook%20is%20reproducible%2C%0Aruns%20in%20WASM%2C%20and%20costs%20nothing%20to%20explore.%0A%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.23.11%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Generative%20AI%20in%20Action%2C%20interactively%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%0A%20%20%20%20%23%20Moss%20%26%20pine%20palette%2C%20tuned%20to%20match%20rodrigosf.com.%0A%20%20%20%20%23%20Categorical%20order%20(validated%20for%20CVD%20separation%20and%20contrast%20on%20light)%3A%0A%20%20%20%20%23%20moss%20-%3E%20violet%20-%3E%20amber%20-%3E%20rose.%0A%20%20%20%20PINE%20%3D%20%22%231e3d2f%22%0A%20%20%20%20MOSS%20%3D%20%22%232e7d1f%22%0A%20%20%20%20LEAF%20%3D%20%22%2343B02A%22%0A%20%20%20%20SAGE%20%3D%20%22%238aa87e%22%0A%20%20%20%20TINT%20%3D%20%22%23eef4ea%22%0A%20%20%20%20TINT_BORDER%20%3D%20%22%23cfdcc8%22%0A%20%20%20%20VIOLET%20%3D%20%22%236841d8%22%0A%20%20%20%20VIOLET_TINT%20%3D%20%22%23f1edfb%22%0A%20%20%20%20AMBER%20%3D%20%22%2396610a%22%0A%20%20%20%20ROSE%20%3D%20%22%23c4386b%22%0A%20%20%20%20GRAY%20%3D%20%22%239aa3b2%22%0A%20%20%20%20INK%20%3D%20%22%2322301f%22%0A%20%20%20%20INK_MUTED%20%3D%20%22%2351604b%22%0A%20%20%20%20MONO%20%3D%20%22ui-monospace%2C%20'JetBrains%20Mono'%2C%20SFMono-Regular%2C%20Menlo%2C%20monospace%22%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20AMBER%2C%0A%20%20%20%20%20%20%20%20GRAY%2C%0A%20%20%20%20%20%20%20%20INK%2C%0A%20%20%20%20%20%20%20%20INK_MUTED%2C%0A%20%20%20%20%20%20%20%20LEAF%2C%0A%20%20%20%20%20%20%20%20MONO%2C%0A%20%20%20%20%20%20%20%20MOSS%2C%0A%20%20%20%20%20%20%20%20PINE%2C%0A%20%20%20%20%20%20%20%20ROSE%2C%0A%20%20%20%20%20%20%20%20SAGE%2C%0A%20%20%20%20%20%20%20%20TINT%2C%0A%20%20%20%20%20%20%20%20TINT_BORDER%2C%0A%20%20%20%20%20%20%20%20VIOLET%2C%0A%20%20%20%20%20%20%20%20VIOLET_TINT%2C%0A%20%20%20%20%20%20%20%20alt%2C%0A%20%20%20%20%20%20%20%20mo%2C%0A%20%20%20%20%20%20%20%20np%2C%0A%20%20%20%20%20%20%20%20pd%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20INK_MUTED%2C%0A%20%20%20%20MONO%2C%0A%20%20%20%20MOSS%2C%0A%20%20%20%20PINE%2C%0A%20%20%20%20SAGE%2C%0A%20%20%20%20TINT%2C%0A%20%20%20%20TINT_BORDER%2C%0A%20%20%20%20VIOLET%2C%0A%20%20%20%20VIOLET_TINT%2C%0A%20%20%20%20mo%2C%0A)%3A%0A%20%20%20%20def%20section_banner(num%2C%20title%2C%20subtitle)%3A%0A%20%20%20%20%20%20%20%20return%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22background%3Alinear-gradient(135deg%2C%7BPINE%7D%200%25%2C%7BMOSS%7D%20100%25)%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'border-radius%3A14px%3Bpadding%3A18px%2022px%3Bmargin%3A26px%200%2010px%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bcolor%3A%239fd48a%3Bfont-size%3A11.5px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'letter-spacing%3A0.12em%3Btext-transform%3Auppercase%3B%22%3E%7Bnum%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22color%3A%23f2f7ee%3Bfont-size%3A21px%3Bfont-weight%3A750%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'line-height%3A1.25%3Bmargin-top%3A2px%3B%22%3E%7Btitle%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22color%3A%23cfe3c4%3Bfont-size%3A14px%3Bmargin-top%3A6px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'line-height%3A1.5%3B%22%3E%7Bsubtitle%7D%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20lens_cards(learn%2C%20tpmm)%3A%0A%20%20%20%20%20%20%20%20card%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20'flex%3A1%201%20260px%3Bborder-radius%3A10px%3Bpadding%3A12px%2016px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20'font-size%3A13.5px%3Bline-height%3A1.55%3B'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22display%3Aflex%3Bgap%3A10px%3Bflex-wrap%3Awrap%3Bmargin%3A2px%200%2010px%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22%7Bcard%7Dbackground%3A%7BTINT%7D%3Bborder%3A1px%20solid%20%7BTINT_BORDER%7D%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A11px%3Bletter-spacing%3A0.08em%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'text-transform%3Auppercase%3Bcolor%3A%7BMOSS%7D%3Bfont-weight%3A700%3B%22%3EWhat%20you%20learn%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22color%3A%7BINK_MUTED%7D%3Bmargin-top%3A4px%3B%22%3E%7Blearn%7D%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22%7Bcard%7Dbackground%3A%7BVIOLET_TINT%7D%3Bborder%3A1px%20solid%20%23ddd3f4%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A11px%3Bletter-spacing%3A0.08em%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'text-transform%3Auppercase%3Bcolor%3A%7BVIOLET%7D%3Bfont-weight%3A700%3B%22%3EProduct%20lens%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22color%3A%234a4460%3Bmargin-top%3A4px%3B%22%3E%7Btpmm%7D%3C%2Fdiv%3E%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20def%20stat_tile(label%2C%20value%2C%20note%2C%20color%3DMOSS)%3A%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22flex%3A1%201%20150px%3Bbackground%3A%23ffffff%3Bborder%3A1px%20solid%20%7BTINT_BORDER%7D%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'border-top%3A3px%20solid%20%7Bcolor%7D%3Bborder-radius%3A10px%3Bpadding%3A12px%2016px%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A11px%3Bletter-spacing%3A0.08em%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'text-transform%3Auppercase%3Bcolor%3A%7BINK_MUTED%7D%3B%22%3E%7Blabel%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A25px%3Bfont-weight%3A700%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'color%3A%7Bcolor%7D%3Bmargin%3A2px%200%3B%22%3E%7Bvalue%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-size%3A12px%3Bcolor%3A%7BSAGE%7D%3Bline-height%3A1.4%3B%22%3E%7Bnote%7D%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20return%20lens_cards%2C%20section_banner%2C%20stat_tile%0A%0A%0A%40app.cell%0Adef%20_(MONO%2C%20PINE%2C%20mo)%3A%0A%20%20%20%20chip_style%20%3D%20(%0A%20%20%20%20%20%20%20%20f'display%3Ainline-block%3Bfont-family%3A%7BMONO%7D%3Bfont-size%3A11.5px%3B'%0A%20%20%20%20%20%20%20%20'padding%3A4px%2012px%3Bborder-radius%3A99px%3Bmargin%3A3px%204px%200%200%3B'%0A%20%20%20%20%20%20%20%20'background%3Argba(255%2C255%2C255%2C0.14)%3Bcolor%3A%23dff0d5%3B'%0A%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22background%3Alinear-gradient(150deg%2C%230f2419%200%25%2C%7BPINE%7D%2055%25%2C%232e5d24%20100%25)%3B'%0A%20%20%20%20%20%20%20%20'border-radius%3A16px%3Bpadding%3A26px%2028px%3Bmargin-bottom%3A6px%3B%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bcolor%3A%237ee787%3Bfont-size%3A12px%3B'%0A%20%20%20%20%20%20%20%20'letter-spacing%3A0.14em%3Btext-transform%3Auppercase%3B%22%3Erodrigosf.com%20%C2%B7%20interactive%20book%20review%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22color%3A%23f5faf1%3Bfont-size%3A29px%3Bfont-weight%3A800%3Bline-height%3A1.2%3B'%0A%20%20%20%20%20%20%20%20'margin%3A8px%200%206px%3B%22%3EGenerative%20AI%20in%20Action%2C%20interactively%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22color%3A%23cfe3c4%3Bfont-size%3A14.5px%3Bline-height%3A1.6%3Bmax-width%3A38rem%3B%22%3E'%0A%20%20%20%20%20%20%20%20'Six%20teaching%20widgets%20built%20for%20my%20review%20of%20'%0A%20%20%20%20%20%20%20%20'%3Ca%20href%3D%22https%3A%2F%2Fwww.manning.com%2Fbooks%2Fgenerative-ai-in-action%22%20'%0A%20%20%20%20%20%20%20%20'style%3D%22color%3A%239fd48a%3Bfont-weight%3A600%3B%22%3EGenerative%20AI%20in%20Action%3C%2Fa%3E.%20'%0A%20%20%20%20%20%20%20%20'Every%20behavior%20is%20simulated%20with%20plain%20NumPy%2C%20so%20the%20concepts%20stay%20honest%2C%20'%0A%20%20%20%20%20%20%20%20'deterministic%2C%20and%20free%20to%20explore.%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22margin-top%3A12px%3B%22%3E%3Cspan%20style%3D%22%7Bchip_style%7D%22%3E100%25%20simulated%20%C2%B7%20zero%20API%20calls%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Bchip_style%7D%22%3EPython%20running%20in%20your%20browser%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Bchip_style%7D%22%3Ereproducible%20by%20design%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bcolor%3A%238fa887%3Bfont-size%3A11.5px%3Bmargin-top%3A14px%3B%22%3E'%0A%20%20%20%20%20%20%20%20'Bahree%2C%20A.%20(2024).%20%3Ci%3EGenerative%20AI%20in%20Action%3C%2Fi%3E.%20Manning%20Publications.%20'%0A%20%20%20%20%20%20%20%20'ISBN%209781633436947.%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(lens_cards%2C%20mo%2C%20section_banner)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20section_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22section%2001%20%C2%B7%20sampling%20%26%20configuration%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Model%20Configuration%20Playground%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chapter%203%20(pp.%2057-95)%20treats%20configuration%20as%20a%20first-class%20concept%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22temperature%20(section%203.2.4%2C%20p.%2071)%2C%20top_p%20(3.2.5%2C%20p.%2074)%2C%20and%20the%20presence%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20frequency%20penalties%20(3.3.3%2C%20p.%2080)%20decide%20how%20much%20unpredictability%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ship.%20Every%20control%20below%20visibly%20reshapes%20the%20simulated%20continuation.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20lens_cards(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Configuration%20is%20a%20product%20surface.%20The%20same%20model%20becomes%20a%20different%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22product%20when%20these%20numbers%20change.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20support%20bot%20and%20a%20brainstorming%20tool%20can%20share%20a%20model%20and%20differ%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22in%20this%20panel.%20Ask%20which%20knobs%20your%20product%20exposes%2C%20and%20to%20whom.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20temperature%20%3D%20mo.ui.slider(0.0%2C%202.0%2C%20step%3D0.1%2C%20value%3D0.7%2C%20label%3D%22temperature%22)%0A%20%20%20%20top_p%20%3D%20mo.ui.slider(0.05%2C%201.0%2C%20step%3D0.05%2C%20value%3D1.0%2C%20label%3D%22top_p%22)%0A%20%20%20%20presence_penalty%20%3D%20mo.ui.slider(-2.0%2C%202.0%2C%20step%3D0.1%2C%20value%3D0.0%2C%20label%3D%22presence%20penalty%22)%0A%20%20%20%20frequency_penalty%20%3D%20mo.ui.slider(-2.0%2C%202.0%2C%20step%3D0.1%2C%20value%3D0.0%2C%20label%3D%22frequency%20penalty%22)%0A%20%20%20%20max_tokens%20%3D%20mo.ui.slider(16%2C%20256%2C%20step%3D8%2C%20value%3D120%2C%20label%3D%22max%20tokens%22)%0A%20%20%20%20fixed_seed%20%3D%20mo.ui.checkbox(value%3DFalse%2C%20label%3D%22fixed%20seed%22)%0A%20%20%20%20regenerate%20%3D%20mo.ui.button(label%3D%22%E2%86%BB%20regenerate%22%2C%20value%3D0%2C%20on_click%3Dlambda%20v%3A%20v%20%2B%201)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20fixed_seed%2C%0A%20%20%20%20%20%20%20%20frequency_penalty%2C%0A%20%20%20%20%20%20%20%20max_tokens%2C%0A%20%20%20%20%20%20%20%20presence_penalty%2C%0A%20%20%20%20%20%20%20%20regenerate%2C%0A%20%20%20%20%20%20%20%20temperature%2C%0A%20%20%20%20%20%20%20%20top_p%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20fixed_seed%2C%0A%20%20%20%20frequency_penalty%2C%0A%20%20%20%20max_tokens%2C%0A%20%20%20%20np%2C%0A%20%20%20%20presence_penalty%2C%0A%20%20%20%20regenerate%2C%0A%20%20%20%20temperature%2C%0A%20%20%20%20top_p%2C%0A)%3A%0A%20%20%20%20%23%20Hand-designed%20token%20pools%20(illustrative%2C%20not%20from%20a%20model).%20The%20words%20are%0A%20%20%20%20%23%20ordered%20sensible-to-strange%2C%20so%20temperature%20and%20top_p%20have%20legible%20effects.%0A%20%20%20%20NOUN_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22result%22%2C%200.34)%2C%20(%22pattern%22%2C%200.22)%2C%20(%22signal%22%2C%200.16)%2C%20(%22outcome%22%2C%200.12)%2C%0A%20%20%20%20%20%20%20%20(%22smell%22%2C%200.07)%2C%20(%22melody%22%2C%200.05)%2C%20(%22universe%22%2C%200.03)%2C%20(%22apology%22%2C%200.01)%2C%0A%20%20%20%20%5D%0A%20%20%20%20LINK_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22%2C%20consistent%20with%22%2C%200.48)%2C%20(%22%2C%20echoing%22%2C%200.22)%2C%20(%22%2C%20defying%22%2C%200.16)%2C%0A%20%20%20%20%20%20%20%20(%22%2C%20serenading%22%2C%200.09)%2C%20(%22%2C%20apologizing%20to%22%2C%200.05)%2C%0A%20%20%20%20%5D%0A%20%20%20%20REF_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22the%20model's%20predictions%22%2C%200.42)%2C%20(%22last%20quarter's%20baseline%22%2C%200.28)%2C%0A%20%20%20%20%20%20%20%20(%22the%20team's%20assumptions%22%2C%200.16)%2C%20(%22the%20intern's%20horoscope%22%2C%200.09)%2C%0A%20%20%20%20%20%20%20%20(%22the%20office%20ficus%22%2C%200.05)%2C%0A%20%20%20%20%5D%0A%20%20%20%20VERB_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22repeated%20the%20analysis%22%2C%200.40)%2C%20(%22checked%20the%20pipeline%22%2C%200.30)%2C%0A%20%20%20%20%20%20%20%20(%22opened%20a%20ticket%22%2C%200.15)%2C%20(%22wrote%20a%20poem%22%2C%200.10)%2C%20(%22blamed%20the%20moon%22%2C%200.05)%2C%0A%20%20%20%20%5D%0A%20%20%20%20WHY_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22to%20confirm%20the%20effect%22%2C%200.50)%2C%20(%22to%20rule%20out%20noise%22%2C%200.30)%2C%0A%20%20%20%20%20%20%20%20(%22to%20appease%20the%20reviewers%22%2C%200.15)%2C%20(%22out%20of%20pure%20superstition%22%2C%200.05)%2C%0A%20%20%20%20%5D%0A%20%20%20%20DRIFT_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22the%20product%20roadmap%22%2C%200.38)%2C%20(%22customer%20onboarding%22%2C%200.25)%2C%0A%20%20%20%20%20%20%20%20(%22the%20pricing%20page%22%2C%200.17)%2C%20(%22an%20unrelated%20haiku%22%2C%200.12)%2C%20(%22lunch%22%2C%200.08)%2C%0A%20%20%20%20%5D%0A%20%20%20%20ADJ_POOL%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22promising%22%2C%200.40)%2C%20(%22measurable%22%2C%200.30)%2C%20(%22inevitable%22%2C%200.15)%2C%0A%20%20%20%20%20%20%20%20(%22luminous%22%2C%200.10)%2C%20(%22forgivable%22%2C%200.05)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20SIM_PROMPT%20%3D%20%22The%20experiment%20produced%20a%20surprising%22%0A%0A%20%20%20%20def%20simulate_generation(temp%2C%20nucleus%2C%20presence%2C%20frequency%2C%20max_toks%2C%20seed)%3A%0A%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng(seed)%0A%20%20%20%20%20%20%20%20used_counts%20%3D%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20greedy%20%3D%20temp%20%3C%3D%200.05%20%20%23%20temperature%20~0%20means%20greedy%20decoding%3A%20pure%20argmax%0A%0A%20%20%20%20%20%20%20%20def%20sample(pool)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20words%20%3D%20%5Bw%20for%20w%2C%20_%20in%20pool%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20weights%20%3D%20np.array(%5Bwt%20for%20_%2C%20wt%20in%20pool%5D%2C%20dtype%3Dfloat)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%2C%20w%20in%20enumerate(words)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20frequency%20penalty%20reweights%20words%20already%20used%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20(x2%20so%20the%20effect%20is%20unmistakable%20at%20slider%20extremes)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20weights%5Bi%5D%20*%3D%20float(np.exp(-2.0%20*%20frequency%20*%20used_counts.get(w%2C%200)))%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20greedy%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20choice%20%3D%20words%5Bint(np.argmax(weights))%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20used_counts%5Bchoice%5D%20%3D%20used_counts.get(choice%2C%200)%20%2B%201%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20choice%0A%20%20%20%20%20%20%20%20%20%20%20%20weights%20%3D%20weights%20**%20(1.0%20%2F%20temp)%0A%20%20%20%20%20%20%20%20%20%20%20%20weights%20%3D%20weights%20%2F%20weights.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20order%20%3D%20np.argsort(weights)%5B%3A%3A-1%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cum%20%3D%20np.cumsum(weights%5Border%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20keep%20%3D%20order%5B%3A%20int(np.searchsorted(cum%2C%20min(nucleus%2C%200.999))%20%2B%201)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20kept_w%20%3D%20weights%5Bkeep%5D%20%2F%20weights%5Bkeep%5D.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%20%3D%20words%5Bint(rng.choice(keep%2C%20p%3Dkept_w))%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20used_counts%5Bchoice%5D%20%3D%20used_counts.get(choice%2C%200)%20%2B%201%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20choice%0A%0A%20%20%20%20%20%20%20%20first_noun%20%3D%20sample(NOUN_POOL)%0A%20%20%20%20%20%20%20%20text%20%3D%20f%22%7Bfirst_noun%7D%7Bsample(LINK_POOL)%7D%20%7Bsample(REF_POOL)%7D.%22%0A%20%20%20%20%20%20%20%20second_noun%20%3D%20sample(NOUN_POOL)%0A%20%20%20%20%20%20%20%20text%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%20A%20second%20%7Bsecond_noun%7D%20appeared%20in%20the%20follow-up%20run%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22so%20the%20team%20%7Bsample(VERB_POOL)%7D%20%7Bsample(WHY_POOL)%7D.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%23%20presence%20penalty%20raises%20the%20odds%20of%20drifting%20to%20a%20brand-new%20topic%3B%0A%20%20%20%20%20%20%20%20%23%20the%20decision%20goes%20through%20temperature%20too%2C%20so%20temp%20~0%20stays%20deterministic%0A%20%20%20%20%20%20%20%20p_drift%20%3D%20float(np.clip(0.10%20%2B%200.45%20*%20presence%2C%200.0%2C%201.0))%0A%20%20%20%20%20%20%20%20drifted%20%3D%20p_drift%20%3E%200.5%20if%20greedy%20else%20bool(rng.random()%20%3C%20p_drift)%0A%20%20%20%20%20%20%20%20if%20drifted%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20text%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20By%20Friday%20the%20discussion%20had%20drifted%20to%20%7Bsample(DRIFT_POOL)%7D%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22which%20everyone%20agreed%20was%20%7Bsample(ADJ_POOL)%7D.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20text%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%20The%20%7Bsample(NOUN_POOL)%7D%20stayed%20stable%20across%20reruns%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20so%20did%20the%20%7Bsample(NOUN_POOL)%7D.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20words_out%20%3D%20text.split(%22%20%22)%0A%20%20%20%20%20%20%20%20budget%20%3D%20max(int(max_toks%20%2F%201.3)%2C%203)%0A%20%20%20%20%20%20%20%20truncated%20%3D%20len(words_out)%20%3E%20budget%0A%20%20%20%20%20%20%20%20if%20truncated%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20words_out%20%3D%20words_out%5B%3Abudget%5D%0A%20%20%20%20%20%20%20%20final_text%20%3D%20%22%20%22.join(words_out)%0A%20%20%20%20%20%20%20%20token_estimate%20%3D%20round(len(words_out)%20*%201.3)%0A%20%20%20%20%20%20%20%20return%20final_text%2C%20first_noun%2C%20drifted%2C%20truncated%2C%20token_estimate%0A%0A%20%20%20%20BASE_SEED%20%3D%2020241029%20%20%23%20the%20book's%20publication%20date%0A%20%20%20%20active_seed%20%3D%20BASE_SEED%20if%20fixed_seed.value%20else%20BASE_SEED%20%2B%207919%20*%20regenerate.value%0A%20%20%20%20sim_text%2C%20sim_first_noun%2C%20sim_drifted%2C%20sim_truncated%2C%20sim_tokens%20%3D%20simulate_generation(%0A%20%20%20%20%20%20%20%20temperature.value%2C%0A%20%20%20%20%20%20%20%20top_p.value%2C%0A%20%20%20%20%20%20%20%20presence_penalty.value%2C%0A%20%20%20%20%20%20%20%20frequency_penalty.value%2C%0A%20%20%20%20%20%20%20%20max_tokens.value%2C%0A%20%20%20%20%20%20%20%20active_seed%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20NOUN_POOL%2C%0A%20%20%20%20%20%20%20%20SIM_PROMPT%2C%0A%20%20%20%20%20%20%20%20active_seed%2C%0A%20%20%20%20%20%20%20%20sim_drifted%2C%0A%20%20%20%20%20%20%20%20sim_text%2C%0A%20%20%20%20%20%20%20%20sim_tokens%2C%0A%20%20%20%20%20%20%20%20sim_truncated%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AMBER%2C%0A%20%20%20%20INK%2C%0A%20%20%20%20INK_MUTED%2C%0A%20%20%20%20MONO%2C%0A%20%20%20%20MOSS%2C%0A%20%20%20%20PINE%2C%0A%20%20%20%20SAGE%2C%0A%20%20%20%20SIM_PROMPT%2C%0A%20%20%20%20TINT_BORDER%2C%0A%20%20%20%20active_seed%2C%0A%20%20%20%20fixed_seed%2C%0A%20%20%20%20frequency_penalty%2C%0A%20%20%20%20max_tokens%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20presence_penalty%2C%0A%20%20%20%20regenerate%2C%0A%20%20%20%20sim_drifted%2C%0A%20%20%20%20sim_text%2C%0A%20%20%20%20sim_tokens%2C%0A%20%20%20%20sim_truncated%2C%0A%20%20%20%20temperature%2C%0A%20%20%20%20top_p%2C%0A)%3A%0A%20%20%20%20meta_chip%20%3D%20(%0A%20%20%20%20%20%20%20%20f'display%3Ainline-block%3Bfont-family%3A%7BMONO%7D%3Bfont-size%3A11px%3B'%0A%20%20%20%20%20%20%20%20'padding%3A2px%2010px%3Bborder-radius%3A99px%3Bmargin-right%3A6px%3Bmargin-top%3A8px%3B'%0A%20%20%20%20%20%20%20%20f'background%3A%23f1f5ee%3Bcolor%3A%7BINK_MUTED%7D%3Bborder%3A1px%20solid%20%7BTINT_BORDER%7D%3B'%0A%20%20%20%20)%0A%20%20%20%20cut_marker%20%3D%20(%0A%20%20%20%20%20%20%20%20f'%20%3Cspan%20style%3D%22color%3A%7BAMBER%7D%3Bfont-weight%3A700%3B%22%3E%E2%8F%B9%20%5Bcut%20off%3A%20max_tokens%20reached%5D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20if%20sim_truncated%20else%20%22%22%0A%20%20%20%20)%0A%20%20%20%20drift_note%20%3D%20%22drifted%20to%20a%20new%20topic%22%20if%20sim_drifted%20else%20%22stayed%20on%20topic%22%0A%20%20%20%20seed_note%20%3D%20f%22seed%20%7Bactive_seed%7D%20(%7B'fixed'%20if%20fixed_seed.value%20else%20'new%20on%20each%20%E2%86%BB'%7D)%22%0A%0A%20%20%20%20sample_card%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22background%3A%23fbfdf9%3Bborder%3A1.5px%20solid%20%7BTINT_BORDER%7D%3B'%0A%20%20%20%20%20%20%20%20f'border-left%3A5px%20solid%20%7BMOSS%7D%3Bborder-radius%3A12px%3Bpadding%3A16px%2018px%3Bmin-width%3A260px%3B%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A11px%3Bletter-spacing%3A0.1em%3B'%0A%20%20%20%20%20%20%20%20f'text-transform%3Auppercase%3Bcolor%3A%7BSAGE%7D%3Bmargin-bottom%3A8px%3B%22%3E'%0A%20%20%20%20%20%20%20%20'simulated%20completion%20%C2%B7%20no%20model%20was%20called%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A14px%3Bline-height%3A1.75%3Bcolor%3A%7BINK%7D%3B%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22color%3A%7BPINE%7D%3Bfont-weight%3A700%3B%22%3E%7BSIM_PROMPT%7D%3C%2Fspan%3E%20'%0A%20%20%20%20%20%20%20%20f'%7Bsim_text%7D%7Bcut_marker%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%3E%3Cspan%20style%3D%22%7Bmeta_chip%7D%22%3E%E2%89%88%7Bsim_tokens%7D%20tokens%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Bmeta_chip%7D%22%3E%7Bdrift_note%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22%7Bmeta_chip%7D%22%3E%7Bseed_note%7D%3C%2Fspan%3E%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20controls%20%3D%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20temperature%2C%20top_p%2C%20presence_penalty%2C%20frequency_penalty%2C%20max_tokens%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bfixed_seed%2C%20regenerate%5D%2C%20justify%3D%22start%22%2C%20gap%3D1)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.5%2C%0A%20%20%20%20)%0A%20%20%20%20mo.hstack(%5Bcontrols%2C%20sample_card%5D%2C%20widths%3D%5B1%2C%201.5%5D%2C%20gap%3D1.5%2C%20align%3D%22start%22%2C%20wrap%3DTrue)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20**Try%20these%20experiments.**%20Drop%20temperature%20to%200%20and%20the%20text%20locks%20onto%20the%20most%0A%20%20%20%20likely%20words%20(regenerating%20changes%20nothing).%20Raise%20it%20past%201.2%20and%20the%20strange%0A%20%20%20%20vocabulary%20surfaces.%20Push%20frequency%20penalty%20negative%20and%20watch%20the%20same%20noun%0A%20%20%20%20repeat%3B%20push%20presence%20penalty%20up%20and%20the%20text%20abandons%20the%20experiment%20for%20the%0A%20%20%20%20product%20roadmap.%20Drag%20max%20tokens%20down%20and%20the%20completion%20is%20chopped%20mid-sentence%2C%0A%20%20%20%20which%20is%20exactly%20how%20a%20real%20truncation%20bug%20reads%20in%20production.%20Fix%20the%20seed%20and%0A%20%20%20%20the%20regenerate%20button%20becomes%20honest%3A%20same%20settings%2C%20same%20output.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(NOUN_POOL%2C%20np%2C%20pd%2C%20temperature%2C%20top_p)%3A%0A%20%20%20%20%23%20First-slot%20distribution%20as%20the%20sampler%20sees%20it%20(temperature%20%2B%20top_p%20only).%0A%20%20%20%20candidate_tokens%20%3D%20%5Bw%20for%20w%2C%20_%20in%20NOUN_POOL%5D%0A%20%20%20%20base_probs%20%3D%20np.array(%5Bwt%20for%20_%2C%20wt%20in%20NOUN_POOL%5D)%0A%20%20%20%20T%20%3D%20max(temperature.value%2C%201e-3)%0A%20%20%20%20scaled%20%3D%20np.exp(np.log(base_probs)%20%2F%20T)%0A%20%20%20%20probs%20%3D%20scaled%20%2F%20scaled.sum()%0A%20%20%20%20order%20%3D%20np.argsort(probs)%5B%3A%3A-1%5D%0A%20%20%20%20cumulative%20%3D%20np.cumsum(probs%5Border%5D)%0A%20%20%20%20keep_count%20%3D%20int(np.searchsorted(cumulative%2C%20top_p.value)%20%2B%201)%0A%20%20%20%20kept_indices%20%3D%20set(order%5B%3Akeep_count%5D.tolist())%0A%20%20%20%20dist_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22token%22%3A%20candidate_tokens%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probability%22%3A%20probs%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22status%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sampled%20from%22%20if%20i%20in%20kept_indices%20else%20%22cut%20by%20top_p%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(len(candidate_tokens))%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%20(dist_df%2C)%0A%0A%0A%40app.cell%0Adef%20_(GRAY%2C%20INK_MUTED%2C%20MOSS%2C%20alt%2C%20dist_df%2C%20mo)%3A%0A%20%20%20%20config_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(dist_df)%0A%20%20%20%20%20%20%20%20.mark_bar(cornerRadiusEnd%3D4%2C%20height%3D15%2C%20stroke%3D%22%23ffffff%22%2C%20strokeWidth%3D1)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22probability%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(format%3D%22%25%22%2C%20title%3D%22probability%20for%20the%20first%20blank%22%2C%20grid%3DTrue%2C%20gridOpacity%3D0.2)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22token%3AN%22%2C%20sort%3D%22-x%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22status%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22sampled%20from%22%2C%20%22cut%20by%20top_p%22%5D%2C%20range%3D%5BMOSS%2C%20GRAY%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3DNone%2C%20orient%3D%22top%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22token%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22probability%3AQ%22%2C%20format%3D%22.1%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22status%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D540%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D220%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Dalt.Title(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20the%20sampler%20actually%20sees%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitle%3D%22temperature%20reshapes%20the%20distribution%3B%20top_p%20cuts%20the%20tail%20(penalties%20act%20later%2C%20on%20reuse)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontSize%3D14%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitleColor%3DINK_MUTED%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitleFontSize%3D11.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.configure_view(strokeOpacity%3D0)%0A%20%20%20%20%20%20%20%20.configure_axis(labelColor%3DINK_MUTED%2C%20titleColor%3DINK_MUTED)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bconfig_chart%2C%20mo.md(%0A%20%20%20%20%20%20%20%20%22*Book%20tip%20worth%20engraving%20somewhere%3A%20adjust%20temperature%20**or**%20top_p%2C%20%22%0A%20%20%20%20%20%20%20%20%22not%20both%20(the%20book%20says%20it%20twice%2C%20pp.%2049%20and%2075).*%22%0A%20%20%20%20)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(lens_cards%2C%20mo%2C%20section_banner)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20section_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22section%2002%20%C2%B7%20prompt%20engineering%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prompt%20Pattern%20Explorer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chapter%206%20(pp.%20155-182)%20catalogs%20the%20prompt%20patterns%20everyone%20eventually%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22rediscovers.%20Switch%20between%20them%20to%20compare%20the%20prompt%20itself%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22behavior%20you%20should%20expect.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20lens_cards(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Patterns%20are%20not%20magic%20phrasing.%20Each%20one%20trades%20effort%2C%20tokens%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22control%20differently.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prompt%20choices%20are%20cost%20and%20reliability%20choices.%20Few-shot%20examples%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22paid%20for%20on%20every%20request%3B%20a%20system%20prompt%20is%20where%20product%20identity%20lives.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20prompt_pattern%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Zero-shot%22%2C%20%22Few-shot%22%2C%20%22Chain%20of%20Thought%22%2C%20%22System%20prompt%22%2C%20%22Structured%20prompt%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Zero-shot%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22pattern%22%2C%0A%20%20%20%20)%0A%20%20%20%20prompt_pattern%0A%20%20%20%20return%20(prompt_pattern%2C)%0A%0A%0A%40app.cell%0Adef%20_(INK%2C%20MONO%2C%20PINE%2C%20SAGE%2C%20TINT_BORDER%2C%20mo%2C%20prompt_pattern)%3A%0A%20%20%20%20prompt_patterns%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Zero-shot%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Classify%20the%20sentiment%20of%20this%20review%20as%20positive%2C%20negative%2C%20or%20mixed%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'%22The%20install%20was%20painless%20but%20the%20docs%20assume%20telepathy.%22'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22No%20examples%2C%20just%20the%20task.%20Cheapest%20in%20tokens%20and%20effort.%20Quality%20depends%20entirely%20on%20how%20common%20the%20task%20was%20in%20training.%20Expect%20confident%20answers%20with%20occasional%20format%20drift.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Few-shot%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20'Review%3A%20%22Setup%20took%20an%20afternoon.%22%20-%3E%20mixed%5Cn'%0A%20%20%20%20%20%20%20%20%20%20%20%20'Review%3A%20%22Crashes%20on%20launch%2C%20every%20time.%22%20-%3E%20negative%5Cn'%0A%20%20%20%20%20%20%20%20%20%20%20%20'Review%3A%20%22Docs%20are%20great%2C%20works%20out%20of%20the%20box.%22%20-%3E%20positive%5Cn%5Cn'%0A%20%20%20%20%20%20%20%20%20%20%20%20'Review%3A%20%22The%20install%20was%20painless%20but%20the%20docs%20assume%20telepathy.%22%20-%3E'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22In-context%20examples%20anchor%20both%20the%20labels%20and%20the%20output%20format.%20Costs%20more%20tokens%2C%20buys%20consistency.%20The%20book%20frames%20this%20as%20in-context%20learning%20(pp.%20161-162)%3A%20the%20model%20imitates%20the%20pattern%20you%20show%20it.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Chain%20of%20Thought%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Classify%20the%20sentiment.%20Think%20step%20by%20step%3A%20first%20list%20the%20positive%20claims%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22then%20the%20negative%20claims%2C%20then%20weigh%20them%20before%20answering.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'%22The%20install%20was%20painless%20but%20the%20docs%20assume%20telepathy.%22'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Asking%20for%20intermediate%20reasoning%20improves%20multi-step%20tasks%20(p.%20170).%20Slower%20and%20more%20verbose%2C%20and%20the%20reasoning%20text%20itself%20is%20for%20the%20model's%20benefit%2C%20not%20necessarily%20a%20faithful%20account.%20Use%20for%20logic%2C%20not%20for%20lookups.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22System%20prompt%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22System%3A%20You%20are%20a%20support%20triage%20assistant.%20Always%20answer%20with%20exactly%20one%20word%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22positive%2C%20negative%2C%20or%20mixed.%20Never%20explain.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20'User%3A%20%22The%20install%20was%20painless%20but%20the%20docs%20assume%20telepathy.%22'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20system%20role%20sets%20persistent%20rules%20the%20user%20message%20cannot%20easily%20see%20or%20edit%20(p.%20163).%20This%20is%20where%20products%20encode%20identity%2C%20tone%2C%20and%20boundaries.%20Most%20guardrails%20start%20here%3B%20prompt%20injection%20(section%206.6%2C%20p.%20176)%20is%20the%20attack%20that%20tests%20them.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Structured%20prompt%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Classify%20the%20review%20below.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%23%23%23%20Review%5CnThe%20install%20was%20painless%20but%20the%20docs%20assume%20telepathy.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%23%23%23%20Output%20format%20(JSON)%5Cn%7B%5C%22sentiment%5C%22%3A%20%5C%22positive%7Cnegative%7Cmixed%5C%22%2C%20%5C%22confidence%5C%22%3A%200.0%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Clear%20syntax%2C%20delimiters%2C%20and%20an%20explicit%20schema%20make%20outputs%20parseable%20by%20software%2C%20not%20just%20readable%20by%20humans.%20The%20moment%20another%20system%20consumes%20the%20output%2C%20this%20stops%20being%20optional.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20prompt_text%2C%20prompt_diff%20%3D%20prompt_patterns%5Bprompt_pattern.value%5D%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22background%3A%23fbfdf9%3Bborder%3A1.5px%20solid%20%7BTINT_BORDER%7D%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'border-left%3A5px%20solid%20%7BPINE%7D%3Bborder-radius%3A12px%3Bpadding%3A14px%2018px%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A11px%3Bletter-spacing%3A0.1em%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'text-transform%3Auppercase%3Bcolor%3A%7BSAGE%7D%3Bmargin-bottom%3A8px%3B%22%3Ethe%20prompt%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cpre%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-size%3A13px%3Bline-height%3A1.6%3Bcolor%3A%7BINK%7D%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'white-space%3Apre-wrap%3Bmargin%3A0%3B%22%3E%7Bprompt_text%7D%3C%2Fpre%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**What%20changes%3A**%20%7Bprompt_diff%7D%22)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(lens_cards%2C%20mo%2C%20section_banner)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20section_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22section%2003%20%C2%B7%20architecture%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22LLM%20Product%20Stack%20Explorer%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chapter%2010%20(pp.%20283-320)%20maps%20a%20GenAI%20application%20stack%20(pp.%20286-292)%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22compares%20it%20to%20LAMP%20itself%20(p.%20286).%20The%20eight%20layers%20here%20are%20adapted%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22expanded%20from%20the%20book's%20four-layer%20stack%20(figure%2010.2%2C%20p.%20287)%2C%20breaking%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22retrieval%2C%20embeddings%2C%20safety%2C%20and%20evaluation%20out%20into%20their%20own%20rows.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20is%20two%20layers%20from%20the%20bottom%2C%20which%20is%20exactly%20the%20point.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20lens_cards(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Most%20product%20risk%20lives%20in%20the%20middle%20of%20the%20stack%2C%20not%20in%20the%20model.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20orchestration%20layer%20is%20where%20trust%20is%20implemented.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Layer%20ownership%20is%20a%20strategy%20question%3A%20which%20layers%20does%20your%20product%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22own%2C%20which%20does%20it%20buy%2C%20and%20which%20does%20it%20merely%20observe%3F%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20stack_layer%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Application%22%2C%20%22Orchestration%22%2C%20%22Retrieval%22%2C%20%22Embeddings%22%2C%20%22Model%22%2C%20%22Safety%22%2C%20%22Evaluation%22%2C%20%22Infrastructure%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Orchestration%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22inspect%20a%20layer%22%2C%0A%20%20%20%20)%0A%20%20%20%20stack_layer%0A%20%20%20%20return%20(stack_layer%2C)%0A%0A%0A%40app.cell%0Adef%20_(MONO%2C%20MOSS%2C%20TINT_BORDER%2C%20mo%2C%20stack_layer)%3A%0A%20%20%20%20stack_layers%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Application%22%3A%20%22The%20copilot%20or%20product%20the%20user%20touches%20(the%20era%20of%20copilots%20and%20the%20book's%20airplane%20analogy%2C%20pp.%20285-286).%20Teams%20must%20decide%3A%20where%20does%20AI%20help%20versus%20intrude%2C%20what%20does%20the%20empty%20state%20teach%2C%20how%20are%20failures%20presented%2C%20and%20does%20the%20human%20stay%20the%20pilot%3F%22%2C%0A%20%20%20%20%20%20%20%20%22Orchestration%22%3A%20%22The%20traffic%20control%20between%20user%2C%20data%2C%20tools%2C%20and%20model%3A%20prompt%20assembly%2C%20grounding%2C%20response%20filtering%2C%20plugin%20or%20tool%20execution%20(section%2010.3%2C%20pp.%20293-307).%20Teams%20must%20decide%20what%20context%20the%20model%20sees%2C%20what%20it%20may%20call%2C%20and%20what%20is%20allowed%20out.%20Trust%20is%20implemented%20here.%22%2C%0A%20%20%20%20%20%20%20%20%22Retrieval%22%3A%20%22The%20RAG%20pipeline%3A%20chunking%2C%20search%2C%20ranking%20(chunking%20gets%20pp.%20195-212).%20Teams%20must%20decide%20chunk%20strategy%2C%20freshness%2C%20and%20provenance%2C%20because%20retrieval%20quality%20caps%20answer%20quality%20no%20matter%20how%20good%20the%20model%20is.%22%2C%0A%20%20%20%20%20%20%20%20%22Embeddings%22%3A%20%22The%20semantic%20index%20under%20retrieval%20(embeddings%20and%20vector%20management%2C%20pp.%20310-311).%20Teams%20must%20decide%20which%20embedding%20model%2C%20at%20what%20dimension%20and%20cost%2C%20and%20remember%20embeddings%20from%20one%20provider%20cannot%20be%20read%20by%20another.%20Re-embedding%20a%20corpus%20is%20a%20migration%2C%20plan%20for%20it.%22%2C%0A%20%20%20%20%20%20%20%20%22Model%22%3A%20%22Foundation%20models%2C%20hosted%20or%20your%20own%2C%20large%20or%20small%20(model%20layer%20and%20ensembles%2C%20pp.%20312-318).%20Teams%20must%20decide%20build%20versus%20buy%2C%20open%20versus%20closed%2C%20one%20model%20or%20a%20portfolio%2C%20and%20how%20to%20swap%20without%20rewriting%20the%20product.%22%2C%0A%20%20%20%20%20%20%20%20%22Safety%22%3A%20%22Content%20filters%2C%20injection%20defenses%2C%20output%20handling%20(response%20filtering%2C%20pp.%20318-320%3B%20content%20safety%2C%20pp.%20411-421).%20Teams%20must%20decide%20what%20gets%20blocked%2C%20logged%2C%20or%20escalated%20to%20humans%2C%20and%20treat%20model%20output%20as%20untrusted%20input%20to%20the%20rest%20of%20the%20system.%22%2C%0A%20%20%20%20%20%20%20%20%22Evaluation%22%3A%20%22Offline%20benchmarks%2C%20LLM-as-judge%20methods%2C%20regression%20suites%20(ch.%2012%2C%20pp.%20357-383).%20Teams%20must%20decide%20what%20good%20means%2C%20measure%20it%20before%20and%20after%20every%20change%2C%20and%20budget%20for%20evals%20like%20they%20budget%20for%20tests.%22%2C%0A%20%20%20%20%20%20%20%20%22Infrastructure%22%3A%20%22Compute%2C%20quotas%2C%20rate%20limits%2C%20latency%20budgets%2C%20token%20economics%20(ch.%2011%2C%20pp.%20321-356).%20Teams%20must%20decide%20capacity%20and%20cost%20ceilings%2C%20because%20pay-as-you-go%20pricing%20turns%20every%20feature%20decision%20into%20a%20unit-economics%20decision.%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20stack_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22padding%3A8px%2014px%3Bmargin%3A4px%200%3Bborder-radius%3A8px%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'border%3A2px%20solid%20%7BMOSS%7D%3Bbackground%3A%7BMOSS%7D1c%3Bfont-weight%3A650%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20layer_name%20%3D%3D%20stack_layer.value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f'border%3A1px%20solid%20%7BTINT_BORDER%7D%3B'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20f'font-family%3A%7BMONO%7D%3Bfont-size%3A13px%3B%22%3E%7Blayer_name%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20layer_name%20in%20stack_layers%0A%20%20%20%20%5D%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html('%3Cdiv%20style%3D%22min-width%3A200px%22%3E'%20%2B%20%22%22.join(stack_rows)%20%2B%20%22%3C%2Fdiv%3E%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bstack_layer.value%7D**%20%C2%B7%20what%20product%20teams%20need%20to%20think%20about%3A%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bstack_layers%5Bstack_layer.value%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20align%3D%22start%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(lens_cards%2C%20mo%2C%20section_banner)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20section_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22section%2004%20%C2%B7%20enterprise%20adoption%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Token%20Economics%20Calculator%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chapter%2011%20(pp.%20321-356)%20keeps%20returning%20to%20a%20blunt%20truth%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pay-as-you-go%20pricing%20(PAYGO%2C%20p.%20333)%20turns%20every%20AI%20feature%20into%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unit-economics%20decision.%20Model%20a%20rollout%2C%20from%20pilot%20to%20enterprise%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20watch%20the%20monthly%20bill%20move.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20lens_cards(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Latency%20budgets%2C%20quotas%2C%20rate%20limits%2C%20and%20token%20prices%20decide%20whether%20an%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22AI%20feature%20is%20still%20a%20good%20idea%20when%20the%20invoice%20arrives.%20Caching%20is%20a%20product%20decision.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20the%20product%20conversation%3A%20cost%20per%20user%20versus%20what%20the%20seat%20sells%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22for%2C%20and%20which%20levers%20(context%20size%2C%20caching%2C%20model%20tier)%20protect%20margin.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20rollout_stage%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%5B%22Pilot%20(50%20users)%22%2C%20%22Department%20(500%20users)%22%2C%20%22Organization%20(5%2C000%20users)%22%2C%20%22Enterprise%20(25%2C000%20users)%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Department%20(500%20users)%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22rollout%20stage%22%2C%0A%20%20%20%20)%0A%20%20%20%20requests_per_day%20%3D%20mo.ui.slider(1%2C%20100%2C%20step%3D1%2C%20value%3D20%2C%20label%3D%22requests%20per%20user%20per%20workday%22)%0A%20%20%20%20tokens_in%20%3D%20mo.ui.slider(200%2C%208000%2C%20step%3D100%2C%20value%3D1500%2C%20label%3D%22avg%20input%20tokens%20per%20request%20(prompt%20%2B%20retrieved%20context)%22)%0A%20%20%20%20tokens_out%20%3D%20mo.ui.slider(50%2C%204000%2C%20step%3D50%2C%20value%3D400%2C%20label%3D%22avg%20output%20tokens%20per%20request%22)%0A%20%20%20%20price_in%20%3D%20mo.ui.slider(0.1%2C%2015.0%2C%20step%3D0.1%2C%20value%3D3.0%2C%20label%3D%22price%20per%201M%20input%20tokens%20(%24)%22)%0A%20%20%20%20price_out%20%3D%20mo.ui.slider(0.5%2C%2075.0%2C%20step%3D0.5%2C%20value%3D15.0%2C%20label%3D%22price%20per%201M%20output%20tokens%20(%24)%22)%0A%20%20%20%20cache_rate%20%3D%20mo.ui.slider(0%2C%2090%2C%20step%3D5%2C%20value%3D30%2C%20label%3D%22prompt%20cache%20hit%20rate%20(%25)%22)%0A%20%20%20%20seat_price%20%3D%20mo.ui.slider(5%2C%20100%2C%20step%3D5%2C%20value%3D30%2C%20label%3D%22what%20the%20AI%20seat%20sells%20for%20(%24%2Fuser%2Fmonth)%22)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20rollout_stage%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Brequests_per_day%2C%20cache_rate%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Btokens_in%2C%20tokens_out%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%5Bprice_in%2C%20price_out%5D%2C%20justify%3D%22start%22%2C%20gap%3D2%2C%20wrap%3DTrue)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20seat_price%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D0.5%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20cache_rate%2C%0A%20%20%20%20%20%20%20%20price_in%2C%0A%20%20%20%20%20%20%20%20price_out%2C%0A%20%20%20%20%20%20%20%20requests_per_day%2C%0A%20%20%20%20%20%20%20%20rollout_stage%2C%0A%20%20%20%20%20%20%20%20seat_price%2C%0A%20%20%20%20%20%20%20%20tokens_in%2C%0A%20%20%20%20%20%20%20%20tokens_out%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20cache_rate%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20price_in%2C%0A%20%20%20%20price_out%2C%0A%20%20%20%20requests_per_day%2C%0A%20%20%20%20rollout_stage%2C%0A%20%20%20%20seat_price%2C%0A%20%20%20%20tokens_in%2C%0A%20%20%20%20tokens_out%2C%0A)%3A%0A%20%20%20%20stage_users%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Pilot%20(50%20users)%22%3A%2050%2C%0A%20%20%20%20%20%20%20%20%22Department%20(500%20users)%22%3A%20500%2C%0A%20%20%20%20%20%20%20%20%22Organization%20(5%2C000%20users)%22%3A%205000%2C%0A%20%20%20%20%20%20%20%20%22Enterprise%20(25%2C000%20users)%22%3A%2025000%2C%0A%20%20%20%20%7D%0A%20%20%20%20n_users%20%3D%20stage_users%5Brollout_stage.value%5D%0A%20%20%20%20monthly_requests%20%3D%20n_users%20*%20requests_per_day.value%20*%2021%20%20%23%20workdays%0A%20%20%20%20m_tokens_in%20%3D%20monthly_requests%20*%20tokens_in.value%20%2F%201e6%0A%20%20%20%20m_tokens_out%20%3D%20monthly_requests%20*%20tokens_out.value%20%2F%201e6%0A%0A%20%20%20%20cache_frac%20%3D%20cache_rate.value%20%2F%20100%0A%20%20%20%20%23%20cached%20input%20tokens%20billed%20at%2010%25%20of%20list%20price%20(a%20common%20discount%20shape)%0A%20%20%20%20input_cost_nocache%20%3D%20m_tokens_in%20*%20price_in.value%0A%20%20%20%20input_cost_cache%20%3D%20m_tokens_in%20*%20price_in.value%20*%20(1%20-%20cache_frac%20%2B%200.1%20*%20cache_frac)%0A%20%20%20%20output_cost%20%3D%20m_tokens_out%20*%20price_out.value%0A%0A%20%20%20%20total_nocache%20%3D%20input_cost_nocache%20%2B%20output_cost%0A%20%20%20%20total_cache%20%3D%20input_cost_cache%20%2B%20output_cost%0A%20%20%20%20cost_per_user%20%3D%20total_cache%20%2F%20n_users%0A%20%20%20%20margin_per_user%20%3D%20seat_price.value%20-%20cost_per_user%0A%20%20%20%20peak_rps%20%3D%20n_users%20*%20requests_per_day.value%20%2F%20(8%20*%203600)%0A%0A%20%20%20%20cost_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22scenario%22%3A%20%22without%20caching%22%2C%20%22component%22%3A%20%22input%20tokens%22%2C%20%22cost%22%3A%20input_cost_nocache%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22scenario%22%3A%20%22without%20caching%22%2C%20%22component%22%3A%20%22output%20tokens%22%2C%20%22cost%22%3A%20output_cost%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22scenario%22%3A%20f%22with%20%7Bcache_rate.value%7D%25%20cache%20hits%22%2C%20%22component%22%3A%20%22input%20tokens%22%2C%20%22cost%22%3A%20input_cost_cache%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22scenario%22%3A%20f%22with%20%7Bcache_rate.value%7D%25%20cache%20hits%22%2C%20%22component%22%3A%20%22output%20tokens%22%2C%20%22cost%22%3A%20output_cost%7D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20cost_df%2C%0A%20%20%20%20%20%20%20%20cost_per_user%2C%0A%20%20%20%20%20%20%20%20margin_per_user%2C%0A%20%20%20%20%20%20%20%20n_users%2C%0A%20%20%20%20%20%20%20%20peak_rps%2C%0A%20%20%20%20%20%20%20%20total_cache%2C%0A%20%20%20%20%20%20%20%20total_nocache%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20AMBER%2C%0A%20%20%20%20MOSS%2C%0A%20%20%20%20ROSE%2C%0A%20%20%20%20cost_per_user%2C%0A%20%20%20%20margin_per_user%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20n_users%2C%0A%20%20%20%20peak_rps%2C%0A%20%20%20%20seat_price%2C%0A%20%20%20%20stat_tile%2C%0A%20%20%20%20total_cache%2C%0A%20%20%20%20total_nocache%2C%0A)%3A%0A%20%20%20%20def%20money(x)%3A%0A%20%20%20%20%20%20%20%20return%20f%22%24%7Bx%3A%2C.0f%7D%22%20if%20x%20%3E%3D%20100%20else%20f%22%24%7Bx%3A%2C.2f%7D%22%0A%0A%20%20%20%20margin_color%20%3D%20MOSS%20if%20margin_per_user%20%3E%200%20else%20ROSE%0A%20%20%20%20savings%20%3D%20total_nocache%20-%20total_cache%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22display%3Aflex%3Bgap%3A10px%3Bflex-wrap%3Awrap%3Bmargin%3A6px%200%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20stat_tile(%22monthly%20model%20bill%22%2C%20money(total_cache)%2C%20f%22%7Bn_users%3A%2C%7D%20users%20%C2%B7%20caching%20applied%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20stat_tile(%22cost%20per%20user%20%2F%20month%22%2C%20money(cost_per_user)%2C%20f%22seat%20sells%20for%20%24%7Bseat_price.value%7D%2Fmonth%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20stat_tile(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22margin%20per%20seat%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20money(abs(margin_per_user))%20%2B%20(%22%22%20if%20margin_per_user%20%3E%3D%200%20else%20%22%20under%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22unit%20economics%20%22%20%2B%20(%22hold%22%20if%20margin_per_user%20%3E%3D%200%20else%20%22are%20underwater%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3Dmargin_color%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20stat_tile(%22caching%20saves%22%2C%20money(savings)%2C%20%22per%20month%20vs%20no%20cache%22%2C%20color%3DAMBER)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20stat_tile(%22peak%20load%22%2C%20f%22%7Bpeak_rps%3A.1f%7D%20rps%22%2C%20%22mind%20quotas%20and%20rate%20limits%22%2C%20color%3DAMBER)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22%3C%2Fdiv%3E%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22*Assumptions%20you%20can%20argue%20with%3A%2021%20workdays%20per%20month%2C%20peak%20load%20spread%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22over%20an%208-hour%20day%2C%20and%20cached%20input%20tokens%20billed%20at%2010%25%20of%20list%20price.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22That%20last%20one%20varies%20by%20provider%20(some%20discount%2050%25%2C%20some%2090%25)%2C%20so%20treat%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20caching%20tile%20as%20a%20shape%2C%20not%20a%20quote.*%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(INK_MUTED%2C%20MOSS%2C%20VIOLET%2C%20alt%2C%20cost_df)%3A%0A%20%20%20%20cost_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(cost_df)%0A%20%20%20%20%20%20%20%20.mark_bar(cornerRadiusEnd%3D4%2C%20height%3D26%2C%20stroke%3D%22%23ffffff%22%2C%20strokeWidth%3D2)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22cost%3AQ%22%2C%20axis%3Dalt.Axis(format%3D%22%24%2C.0f%22%2C%20title%3D%22monthly%20cost%22%2C%20grid%3DTrue%2C%20gridOpacity%3D0.2))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22scenario%3AN%22%2C%20title%3DNone%2C%20sort%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22component%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22input%20tokens%22%2C%20%22output%20tokens%22%5D%2C%20range%3D%5BMOSS%2C%20VIOLET%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3DNone%2C%20orient%3D%22top%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20order%3Dalt.Order(%22component%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22scenario%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22component%3AN%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22cost%3AQ%22%2C%20format%3D%22%24%2C.0f%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D540%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D110%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Dalt.Title(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Where%20the%20money%20goes%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitle%3D%22input%20is%20volume%2C%20output%20is%20price%3A%20long%20contexts%20and%20long%20answers%20are%20different%20problems%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontSize%3D14%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitleColor%3DINK_MUTED%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitleFontSize%3D11.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.configure_view(strokeOpacity%3D0)%0A%20%20%20%20%20%20%20%20.configure_axis(labelColor%3DINK_MUTED%2C%20titleColor%3DINK_MUTED)%0A%20%20%20%20)%0A%20%20%20%20cost_chart%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20**What%20the%20book%20would%20have%20you%20check%20before%20scaling%20a%20stage.**%20Quotas%20and%20rate%0A%20%20%20%20limits%20at%20peak%20load%2C%20not%20average%20(pp.%20333-336).%20Time%20to%20first%20token%2C%20because%0A%20%20%20%20perceived%20speed%20is%20a%20retention%20feature%20(table%2011.3%2C%20p.%20327).%20Caching%2C%20which%20the%0A%20%20%20%20book%20treats%20as%20an%20architecture%20decision%2C%20complete%20with%20Redis%20key%20design%20advice%0A%20%20%20%20(pp.%20349-352).%20An%20evaluation%20gate%20between%20each%20rollout%20stage%2C%20so%20quality%0A%20%20%20%20regressions%20are%20caught%20at%20500%20users%20instead%20of%2025%2C000%20(ch.%2012%2C%20pp.%20357-383%3B%0A%20%20%20%20DeepEval%20on%20p.%20377).%20And%20a%20fallback%20model%20strategy%2C%20because%20in%20an%20enterprise%0A%20%20%20%20rollout%20the%20model%20is%20a%20dependency%20like%20any%20other.%20Chapter%2011%20closes%20with%20a%0A%20%20%20%20production%20deployment%20checklist%20(pp.%20354-356)%3B%20every%20line%20of%20it%20decides%0A%20%20%20%20whether%20the%20pilot%20survives%20procurement.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(lens_cards%2C%20mo%2C%20section_banner)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20section_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22section%2005%20%C2%B7%20model%20adaptation%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20should%20you%20fine-tune%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chapter%209%20(pp.%20242-282)%20is%20careful%20about%20model%20adaptation%3A%20prompt%20first%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ground%20with%20your%20data%20next%2C%20fine-tune%20last%20(When%20to%20fine-tune%20an%20LLM%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pp.%20247-248%3B%20the%20chapter%20summary%20calls%20the%20combination%20working%20in%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22stacked%20manner%2C%20p.%20280).%20Answer%20five%20questions%20and%20get%20the%20book-shaped%20recommendation.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20lens_cards(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Fine-tuning%20is%20a%20style%20and%20behavior%20tool%2C%20not%20a%20knowledge%20tool.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Knowledge%20that%20changes%20belongs%20in%20retrieval.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Adaptation%20is%20a%20resource-allocation%20argument%3A%20the%20cheapest%20experiment%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20could%20work%20goes%20first.%20Treat%20fine-tuning%20like%20a%20feature%20with%20a%20budget.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20q_domain%20%3D%20mo.ui.switch(label%3D%22Do%20you%20need%20deep%20domain%20behavior%20(jargon%2C%20conventions%2C%20task%20shapes)%3F%22)%0A%20%20%20%20q_determinism%20%3D%20mo.ui.switch(label%3D%22Do%20you%20need%20highly%20deterministic%2C%20format-exact%20behavior%3F%22)%0A%20%20%20%20q_current%20%3D%20mo.ui.switch(label%3D%22Do%20you%20need%20current%2C%20frequently%20changing%20information%3F%22)%0A%20%20%20%20q_documents%20%3D%20mo.ui.switch(label%3D%22Do%20answers%20need%20to%20come%20from%20your%20company%20documents%3F%22)%0A%20%20%20%20q_style%20%3D%20mo.ui.switch(label%3D%22Do%20you%20want%20a%20specific%20voice%20or%20writing%20style%2C%20consistently%3F%22)%0A%20%20%20%20mo.vstack(%5Bq_domain%2C%20q_determinism%2C%20q_current%2C%20q_documents%2C%20q_style%5D)%0A%20%20%20%20return%20q_current%2C%20q_determinism%2C%20q_documents%2C%20q_domain%2C%20q_style%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20MOSS%2C%0A%20%20%20%20TINT%2C%0A%20%20%20%20TINT_BORDER%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20q_current%2C%0A%20%20%20%20q_determinism%2C%0A%20%20%20%20q_documents%2C%0A%20%20%20%20q_domain%2C%0A%20%20%20%20q_style%2C%0A)%3A%0A%20%20%20%20reasons%20%3D%20%5B%5D%0A%20%20%20%20if%20q_current.value%20or%20q_documents.value%3A%0A%20%20%20%20%20%20%20%20recommendation%20%3D%20%22RAG%20(retrieval-augmented%20generation)%22%0A%20%20%20%20%20%20%20%20reasons.append(%22Fresh%20or%20proprietary%20knowledge%20belongs%20in%20retrieval%2C%20where%20it%20can%20be%20updated%20and%20cited%20without%20retraining.%22)%0A%20%20%20%20%20%20%20%20if%20q_style.value%20or%20q_domain.value%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20reasons.append(%22Layer%20fine-tuning%20on%20top%20later%20if%20voice%20or%20domain%20behavior%20still%20falls%20short%3A%20the%20two%20combine%20well.%22)%0A%20%20%20%20elif%20q_style.value%20or%20q_domain.value%3A%0A%20%20%20%20%20%20%20%20recommendation%20%3D%20%22Fine-tuning%22%0A%20%20%20%20%20%20%20%20reasons.append(%22Consistent%20style%20and%20domain-shaped%20behavior%20are%20what%20adaptation%20is%20actually%20good%20at.%22)%0A%20%20%20%20%20%20%20%20reasons.append(%22Budget%20for%20dataset%20curation%20and%20evaluation%3A%20the%20book%20treats%20data%20preparation%20as%20most%20of%20the%20work.%22)%0A%20%20%20%20elif%20q_determinism.value%3A%0A%20%20%20%20%20%20%20%20recommendation%20%3D%20%22Prompting%20%2B%20configuration%20(and%20revisit%20model%20selection)%22%0A%20%20%20%20%20%20%20%20reasons.append(%22Determinism%20comes%20from%20low%20temperature%2C%20structured%20prompts%2C%20and%20schema-constrained%20outputs%20before%20it%20comes%20from%20training.%22)%0A%20%20%20%20%20%20%20%20reasons.append(%22If%20a%20model%20cannot%20follow%20your%20format%20reliably%2C%20trying%20a%20different%20model%20is%20cheaper%20than%20tuning%20this%20one.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20recommendation%20%3D%20%22Prompting%20(start%20here)%22%0A%20%20%20%20%20%20%20%20reasons.append(%22No%20signal%20yet%20that%20you%20need%20anything%20heavier.%20Well-crafted%20prompts%20with%20a%20few%20examples%20are%20the%20cheapest%20experiment%20you%20can%20run.%22)%0A%0A%20%20%20%20reason_items%20%3D%20%22%22.join(f'%3Cli%20style%3D%22margin%3A4px%200%3B%22%3E%7Br%7D%3C%2Fli%3E'%20for%20r%20in%20reasons)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22background%3A%7BTINT%7D%3Bborder%3A1.5px%20solid%20%7BTINT_BORDER%7D%3B'%0A%20%20%20%20%20%20%20%20f'border-left%3A5px%20solid%20%7BMOSS%7D%3Bborder-radius%3A12px%3Bpadding%3A14px%2018px%3B%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-weight%3A750%3Bcolor%3A%7BMOSS%7D%3Bfont-size%3A15.5px%3B%22%3E'%0A%20%20%20%20%20%20%20%20f'Recommendation%3A%20%7Brecommendation%7D%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20f'%3Cul%20style%3D%22margin%3A8px%200%200%3Bpadding-left%3A20px%3Bfont-size%3A14px%3Bline-height%3A1.55%3B%22%3E'%0A%20%20%20%20%20%20%20%20f'%7Breason_items%7D%3C%2Ful%3E%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(lens_cards%2C%20mo%2C%20section_banner)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20section_banner(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22section%2006%20%C2%B7%20responsible%20ai%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Responsible%20AI%20Checklist%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Chapter%2013%20(pp.%20384-422)%20reads%20like%20a%20field%20guide%20to%20how%20these%20systems%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fail%3A%20hallucination%20(p.%20387)%2C%20prompt%20injection%20(p.%20389)%2C%20insecure%20output%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22handling%20(p.%20394)%2C%20overreliance%20(p.%20397)%2C%20plus%20a%20responsible%20AI%20lifecycle%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22(pp.%20399-405)%20and%20red-teaming%20(pp.%20406-410).%20Check%20what%20your%20hypothetical%20product%20already%20has.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20lens_cards(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Responsibility%20is%20operational.%20Every%20unchecked%20box%20is%20a%20failure%20mode%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22from%20the%20book%20with%20your%20product's%20name%20on%20it.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22In%20enterprise%20deals%20this%20list%20is%20the%20security%20questionnaire.%20Products%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20can%20answer%20it%20up%20front%20close%20faster.%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20checklist%20%3D%20mo.ui.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Human%20review%20for%20consequential%20outputs%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Monitoring%20and%20alerting%20in%20production%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Evaluation%20suite%20that%20runs%20on%20every%20change%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Content%20filtering%20on%20inputs%20and%20outputs%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Grounding%20with%20citations%20(RAG)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Prompt%20injection%20protection%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.checkbox(label%3D%22Logging%20without%20storing%20sensitive%20data%22)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22%22%2C%0A%20%20%20%20)%0A%20%20%20%20checklist%0A%20%20%20%20return%20(checklist%2C)%0A%0A%0A%40app.cell%0Adef%20_(LEAF%2C%20MONO%2C%20MOSS%2C%20checklist%2C%20mo)%3A%0A%20%20%20%20score%20%3D%20sum(1%20for%20checked%20in%20checklist.value%20if%20checked)%0A%20%20%20%20total%20%3D%20len(checklist.value)%0A%20%20%20%20pct%20%3D%20round(100%20*%20score%20%2F%20total)%0A%20%20%20%20verdict%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Ship-a-demo%20ready%2C%20not%20production%20ready.%22%20if%20pct%20%3C%2045%0A%20%20%20%20%20%20%20%20else%20%22Respectable.%20Now%20pressure-test%20the%20unchecked%20rows.%22%20if%20pct%20%3C%2090%0A%20%20%20%20%20%20%20%20else%20%22Production-serious.%20The%20book%20would%20still%20ask%20who%20reviews%20the%20reviewers.%22%0A%20%20%20%20)%0A%20%20%20%20bar%20%3D%20(%0A%20%20%20%20%20%20%20%20'%3Cdiv%20style%3D%22background%3A%23e7ece3%3Bborder-radius%3A99px%3Bheight%3A16px%3Bmax-width%3A420px%22%3E'%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22background%3Alinear-gradient(90deg%2C%7BMOSS%7D%2C%7BLEAF%7D)%3Bwidth%3A%7Bpct%7D%25%3B'%0A%20%20%20%20%20%20%20%20'height%3A16px%3Bborder-radius%3A99px%3Btransition%3Awidth%200.2s%22%3E%3C%2Fdiv%3E%3C%2Fdiv%3E'%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20style%3D%22font-family%3A%7BMONO%7D%3Bfont-weight%3A700%3Bfont-size%3A15px%3B%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'Production%20readiness%3A%20%3Cspan%20style%3D%22color%3A%7BMOSS%7D%22%3E%7Bpct%7D%25%3C%2Fspan%3E%20(%7Bscore%7D%2F%7Btotal%7D)%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.Html(bar)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(verdict)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20**Reference.**%20Bahree%2C%20A.%20(2024).%20*Generative%20AI%20in%20Action*.%20Manning%20Publications.%0A%20%20%20%20464%20pp.%20ISBN%209781633436947.%20%5Bmanning.com%2Fbooks%2Fgenerative-ai-in-action%5D(https%3A%2F%2Fwww.manning.com%2Fbooks%2Fgenerative-ai-in-action)%0A%20%20%20%20%C2%B7%20%5Bcompanion%20code%20repo%5D(https%3A%2F%2Fgithub.com%2Fbahree%2FGenAIBook)%20(documented%20in%20the%20book's%20own%20appendix%20A%2C%20p.%20423)%0A%0A%20%20%20%20*Built%20with%20%5Bmarimo%5D(https%3A%2F%2Fmarimo.io).%20The%20copy%20reviewed%20here%20was%20won%20at%0A%20%20%20%20PyData%20Boston%202025%2C%20thanks%20to%20Dawn%20Wages%2C%20Daina%20Bouquin%2C%20and%20Jessica%20Stefanowicz%0A%20%20%20%20at%20the%20Anaconda%20booth%2C%20and%20to%20Amit%20Bahree%20for%20writing%20the%20book.%20Read%20the%20full%0A%20%20%20%20review%20at%20%5Brodrigosf.com%5D(https%3A%2F%2Frodrigosf.com%2Fblog%2Fgenerative-ai-in-action-review.html).*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A