Tech

The "Thinking" It Shows You Is a Story It Tells After

July 5, 2026 · Marcus Webb, The Beauty of Mathematics~5 min read

Here's the thing about that little "extended thinking" panel your AI unfolds before it answers — the one that talks itself through the problem like it's showing its work. It reads like a window into the machine's head. It isn't. It's a rendered thing. A story the model writes for you, next to the real computation, not out of it. Somebody laid this out on Hacker News this spring and the thread went off, and the uncomfortable part is it isn't even news to the people who build these things.

The narration and the wiring are two different rooms

When a reasoning model — the o-series, DeepSeek-R1 and its cousins, Claude's extended thinking, the whole lot — answers you, two things happen, and they're not the same thing. One: numbers move through a stack of weights, activations light up, an answer falls out. That's the computation. You never see a byte of it. Two: the model emits a stream of nice sentences — "let me consider the edge cases here" — and that's what shows up in the panel. That stream is an output. It's produced. It sits next to the real work like a caption sits next to a photo, and a caption can be wrong about the photo.

I've watched a mechanic do this. You ask him why the engine's knocking and he gives you a clean, confident story — timing, fuel mix, the usual suspects — while his hands are already on the part that's actually loose, a part he never mentions. The talk and the fix came from the same guy but they're not the same event. One was for you. The other was the work.

An old search guy has a name for this problem

Twenty-some years back Jun Wu wrote a book, The Beauty of Mathematics, and one chapter in it is the whole ballgame here. It's about the hidden Markov model, and the idea is plain once you say it out loud: there's a hidden state you can't see, and there's an emission you can. A noisy phone call — you hear garbled sounds coming down the line, and from those sounds you guess at the words the other person actually said. The sounds are the emission. The words are the hidden state. You infer one from the other. What you never do, if you've got any sense, is confuse the crackle for the sentence.

That's the reasoning trace, dead on. The trace is the emission — the crackle coming down the wire. The computation is the hidden state — what the model was "really doing." Wu's point, decades before any of this, was that the entire job is inferring the hidden thing from the visible thing, and treating them as one and the same is the beginner's mistake. Research since then — including work from the labs that build these models, on whether a model's stated reasoning is faithful to the actual cause of its answer — has repeatedly shown the two can come apart. The written reasoning is sometimes a post-hoc justification, not the thing that produced the result. So: same mistake Wu warned about, new hardware.

What this means for you on Monday

Stop treating the trace as proof. When the model lays out five tidy steps and lands on an answer, that tidy story is not evidence the answer is right — it's a plausible-sounding account written alongside the answer, and the two don't have to match. If the steps look airtight and the output's still wrong, that's not a paradox. That's exactly what "the emission isn't the state" predicts.

So verify the output, not the narration. Run the code the thing wrote. Check the number against a source that isn't the model. Read the trace for what it's good for — a hint about where to look, a rough sketch of the terrain — and not for what it can't give you, which is a guarantee. It's a decent map drawn by someone who might be guessing. Use it like one.

The trace is the crackle, not the sentence

What the model shows you is an emission it produced for you; the computation that made the answer stays hidden — infer from the trace, but verify the output.

Here's the plain version. The panel makes you feel like you're watching the model think, and that feeling is doing a lot of work it hasn't earned. You're reading a caption, not the photo. A story, told after the fact, standing in for a computation you'll never get to see. Read it, sure — it's often a useful story. Just don't hand it your trust on the strength of how confident it sounds. Check the thing it built. The talk was for you; the work was somewhere else.

Framing drawn from Jun Wu, The Beauty of Mathematics (the hidden Markov model: you observe emissions and infer the hidden state). The claim that a model's stated reasoning can diverge from the actual cause of its answer reflects current chain-of-thought faithfulness research, including work from the labs that build these models — a read on a fast-moving field, not settled law. This is one working engineer's take, and no specific product's trace is being called "fake."

The real computation runs as hidden internal states (weights, activations) you never see; the model emits a rendered "thinking" trace that can diverge from what actually caused the answer. As with a hidden Markov model, you observe only the emission and infer the state — never mistake one for the other. Framework: Jun Wu, The Beauty of Mathematics. Trace-faithfulness reflects current research, not settled law.

技术

它给你看的那段「思考」，是它事后编的故事

2026年7月5日 · 陈志远，《数学之美》约 4 分钟

你别看你那 AI 回答前展开的那块「深度思考」面板——就是它一边自言自语一边把题捋一遍、跟给你演算草稿似的那块。它读起来像一扇能看进机器脑子里的窗。其实不是。那是渲染出来的东西，是模型在真正计算的旁边，另写给你看的一个故事，不是从计算里流出来的。今年春天有人在 Hacker News 上把这事儿掰开讲，帖子炸了；更别扭的是，对造这些东西的人来说，这压根不算新闻。

那段叙述，跟里头的线路，是两间屋子

一个推理模型——o 系列、DeepSeek-R1 那一挂、Claude 的深度思考，这一整批——回答你的时候，其实发生了两件事，而且这俩不是一回事。一件：数字在一层层权重里过，激活值一处处亮起来，答案掉出来。这是计算。你一个字节都看不见。另一件：模型吐出一串好听的句子——「让我先想想这里的边界情况」——面板里显示的就是这串。这串是个输出，是被生产出来的。它挨着真正的活儿摆着，像照片底下配的一行说明；可说明是会跟照片对不上的。

这场面我在修车师傅那儿见过。你问他发动机为啥敲缸，他给你一套干净利落、说得头头是道的说法——正时、油气比、老几样嫌疑犯——可他的手，早摸到那个真正松了的零件上去了，那零件他压根没提。嘴上那套和手上那下，是同一个人出来的，可不是同一件事。一个是给你听的，另一个才是活儿。

一个搞搜索的老手，给这毛病起过名

二十多年前，吴军写过一本《数学之美》，里头有一章，搁这儿就是通盘的道理。讲的是隐马尔可夫模型，这想法你一说出口就明白：有个你看不见的隐藏状态，还有个你看得见的发射。一通嘈杂的电话——你听见线那头传来一堆糊成一团的音，你就靠这堆音去猜对方原话到底说了啥。那堆音是发射，那句原话是隐藏状态，你从这个倒推那个。而你但凡有点脑子，绝不会干的一件事，就是把那阵电流杂音，当成那句话本身。

推理轨迹就是这么回事，分毫不差。轨迹是发射——顺着线传来的那阵杂音。计算是隐藏状态——模型「其实在干的」那件事。吴军几十年前就点破：整个活儿就是从看得见的东西倒推看不见的东西，把这俩当成一码事，是新手才犯的错。这些年的研究——包括造这些模型的实验室自己做的、专门查「模型嘴上说的推理，跟它答案真正的成因到底合不合」——反反复复地表明，这两样是能对不上的。写出来的那段推理，有时是事后补的一个说法，不是真正把结果造出来的那个东西。所以说白了：吴军当年警告过的那个错，换了套新硬件，又来了一遍。

这事儿周一上班对你意味着啥

别再拿那段轨迹当证据了。模型摆出五个工工整整的步骤、落到一个答案上，那套整齐的故事，并不能证明答案就对——它只是紧挨着答案写出来的、一段听着靠谱的说辞，这俩本来就不必对上。要是步骤看着滴水不漏、输出还是错的，那不是什么悖论。那正是「发射不等于状态」早给你算准了的结果。

所以，去验输出，别验那段叙述。它写的代码，你跑一遍。它给的数字，你拿一个不是它自己的来源去对一遍。那段轨迹，就当它能给你的那点用处去读——一条从哪儿下手的线索、一张地形的草图；别指望它给不了你的那样东西，也就是担保。它是张还凑合的地图，画图的人自己也可能在瞎蒙。你就照着地图那么用它。

轨迹是那阵杂音，不是那句话

模型给你看的，是它为你生产的一段发射；把答案造出来的那个计算，一直藏着——从轨迹倒推，但去验输出。

掰开揉碎就一句话。那块面板让你感觉像在看着模型思考，可这份「感觉」，替它扛了太多它没挣来的信任。你读的是一行说明，不是那张照片。一个事后讲的故事，替一段你永远看不到的计算站着台。读，当然可以——那故事往往还挺有用。就是别冲着它口气有多笃定，就把信任交给它。去查它搭出来的那个东西。嘴上那套是给你的；活儿，在别处。

框架取自吴军《数学之美》（隐马尔可夫模型：你观测发射、倒推隐藏状态）。「模型嘴上说的推理可能与其答案的真正成因不一致」这一说法，反映的是当前关于思维链忠实度的研究，包括造这些模型的实验室自己的工作——是对一个快速演进领域的解读，不是板上钉钉的定律。这只是一个一线工程师的看法，并没有把哪个具体产品的轨迹判成「假的」。

真正的计算跑在你永远看不见的隐藏内部状态里（权重、激活值）；模型吐出一段渲染过的「思考」轨迹，它可能和真正造出答案的过程不一致。就像隐马尔可夫模型：你只观测到发射，再倒推状态——别把两者当成一回事。框架：吴军《数学之美》。轨迹忠实度反映当前研究，而非板上钉钉的定律。

テクノロジー

見せてくれる「思考」は、あとで書いた物語なんですよね

2026年7月5日 · 藤井亮、『数学の美しさ』約 6 分

回答の前に AI がぱたっと開く、あの「拡張思考」のパネル——問題を自分で言葉にしながらほぐしていく、計算の下書きを見せてくれてるみたいなアレなんですけど。あれ、機械の頭の中をのぞく窓みたいに読めるんですよね。でも、違うんです。あれは描画されたもの。本当の計算の隣で、モデルがあなた向けに別に書いた物語で、計算そのものから流れ出したものじゃない。今年の春、誰かが Hacker News でこれを腑分けして書いてスレッドが伸びたんですが、いちばん居心地が悪いのは、作ってる側にとってはそもそもニュースですらない、というところなんですよね。

その語りと、中の配線は、別の部屋

推論モデル——o シリーズ、DeepSeek-R1 とその親戚、Claude の拡張思考、この一群——があなたに答えるとき、実は二つのことが起きていて、しかもこの二つは同じものじゃないんですよね。一つ。数字が何層もの重みを通り、活性値があちこち点り、答えがぽろっと落ちてくる。これが計算です。あなたは一バイトも見られない。もう一つ。モデルがきれいな文を吐き出す——「まずここの境界ケースを考えてみます」——パネルに映るのはこっち。この列は出力で、生産されたものです。本当の作業の隣に、写真に添えたキャプションみたいに置かれている。で、キャプションって、写真とずれることがあるんですよね。

これ、整備士で見たことがあるんです。エンジンがなぜ叩くのか聞くと、彼はきれいで自信たっぷりの説明をくれる——点火時期、混合気、いつもの容疑者たち——けど、手はもう、実際に緩んでいた部品に触れている。その部品のことは一言も言わない。口の説明と手の一手は、同じ人から出ていても、同じ出来事じゃない。片方はあなた向け。もう片方が作業なんですよね。

検索の職人が、この症状に名前をつけていた

二十数年前、呉軍が『数学の美しさ』という本を書きました。その中の一章が、ここでは話の全部なんですよね。隠れマルコフモデルの話で、口に出すと素朴です。見えない隠れた状態があって、見える出力がある。ノイズだらけの電話——線の向こうから潰れた音の塊が届いて、その音の塊から、相手が実際に何と言ったかを当てにいく。音の塊が出力で、その一言が隠れた状態。片方からもう片方を推論する。そして、ちょっとでも分別があれば絶対にやらないのが、あの電流のザーッという雑音を、その一言そのものと取り違えることなんですよね。

推論トレースって、まさにこれなんです。トレースは出力——線を伝ってくるあの雑音。計算は隠れた状態——モデルが「実際にやっていた」こと。呉軍が何十年も前に突いたのは、仕事の全部が「見えるものから見えないものを推論する」ことで、この二つを一緒くたにするのは初心者の間違いだ、という点でした。それ以来の研究——このモデルを作っている研究所自身のものも含めて、「モデルが口にする推論が、答えの本当の原因に忠実か」を調べたもの——は、この二つがずれ得ることを繰り返し示しています。書かれた推論は、ときに後付けの言い訳で、結果を実際に生んだものじゃない。つまり、呉軍が昔に警告したのと同じ間違いが、新しいハードで、もう一度なんですよね。

月曜、これがあなたにとって何を意味するか

トレースを証拠として扱うのは、もうやめましょう。モデルが五つのきちんとした手順を並べて、一つの答えに着地する。その整った物語は、答えが正しい証拠じゃないんですよね——答えの隣に書かれた、それらしく聞こえる説明で、この二つは合っている必要すらない。手順が完璧に見えて、それでも出力が間違っている。それは矛盾じゃない。「出力は状態じゃない」が、まさにそう予言していたやつなんです。

だから、語りじゃなくて出力を検証してください。書いてくれたコードは、走らせる。出してきた数字は、そのモデル以外の出どころで照らし合わせる。トレースは、それが役立つぶんだけ読む——どこを見ればいいかのヒント、地形のざっとしたスケッチ。それが渡せないもの、つまり保証は、期待しない。当てずっぽうかもしれない人が描いた、まあまあの地図なんです。地図として、そう使えばいいんですよね。

トレースは雑音であって、その一言じゃない

モデルが見せるのは、あなた向けに生産した出力。答えを生んだ計算は隠れたまま——トレースから推論しても、検証するのは出力なんですよね。

噛み砕くと、一言です。あのパネルは、モデルが考えているのを見ている、という感覚をくれる。で、その感覚が、自分では稼いでいない信頼を、ずいぶん背負い込んでいるんですよね。あなたが読んでいるのはキャプションで、写真じゃない。あとから語られた物語が、あなたが決して見られない計算の代わりに、そこに立っている。読むのはいいんです——たいてい役に立つ物語ですから。ただ、口ぶりがどれだけ自信ありげかで信頼を渡すのは、やめておく。作り出したものを、確かめにいく。口の説明はあなた向け、作業はよそにあった、ということなんですよね。

枠組は呉軍『数学の美しさ』から（隠れマルコフモデル：出力を観測し、隠れた状態を推論する）。「モデルが口にする推論は、その答えの本当の原因とずれ得る」という見方は、思考連鎖の忠実性に関する現在の研究——このモデルを作っている研究所自身の仕事を含む——を反映しています。動きの速い分野の一つの読み方であって、確定した法則ではありません。これは現場の一エンジニアの見方で、特定の製品のトレースを「偽物」と断じているわけではありません。

本当の計算は、あなたが決して見られない隠れた内部状態（重み・活性値）で走る。モデルは描画された「思考」トレースを吐き出すが、それは答えを実際に生んだ過程とずれ得る。隠れマルコフモデルと同じで、あなたは出力だけを観測し、状態を推論する——両者を取り違えないこと。枠組：呉軍『数学の美しさ』。トレースの忠実性は現在の研究を反映するもので、確定した法則ではない。