Karukan输入缓冲InputBuffer设计解析一个数组如何驱动整个IME【免费下载链接】karukanJapanese Input Method System for Linux, macOS, Neural Kana-Kanji Conversion Engine项目地址: https://gitcode.com/GitHub_Trending/ka/karukanKarukan 是一款面向 Linux 与 macOS 的日语输入法Japanese Input Method内置神经网络假名-汉字转换引擎。它的核心引擎中最精巧的设计之一是InputBuffer输入缓冲一个元素数组加一个光标索引就驱动了预编辑显示、罗马字转假名、实时转换与汉字转换的全部流程。这篇文章带你读懂这套单一事实来源的设计看看 IME 输入缓冲是如何做到又小又稳的。什么是 InputBuffer 输入缓冲在输入法IME里你按下kyo屏幕上的下划线区域预编辑区会先显示kyo随后自动变成きょ而光标随时可以移动、随时可以按退格纠正。这些行为听起来琐碎实际上最容易出 bug显示文本、假名读音、转换候选之间必须严格一致任何一处状态不同步都会导致按错一个键全盘乱掉。Karukan 的解法非常克制只维护一份记录record其他一切视图都从它派生。文件头部的注释把这件事说得很直白input_buffer.rs记录是唯一事实来源每个显示字符对应一个元素外加一个把光标当作元素索引的cursor。元素数组 光标单一事实来源整个InputBuffer结构只有两个字段input_buffer.rspub(super) struct InputBuffer { elements: VecElement, // 每个元素 一个显示字符 cursor: usize, // 光标 元素边界索引同时也是显示位置 }这里有一个关键不变量元素和显示字符一一对应。所以你输入kyo时记录是[Romaji(k), Romaji(y), Romaji(o)]规则触发后会被重新记录为[Converted(き), Converted(ょ)]——记录永远不会和屏幕上显示的内容打架光标也只是两边共用的一个索引。两种元素活的键盘击键 vs 已定型字符数组里的每个元素只有两种形态input_buffer.rs元素含义例子Romaji(char)还没被转换规则消费的击键保持活的状态k、y、孤立的nConverted(char)已定型的字符规则输出、直接透传如数字1、或字母/表情模式的直接输入永不回退き、ょ、1、A这个区分是整套设计的心脏Romaji随时可以被后续击键接走而Converted是既成事实绝不被再次改写。求值一切视图都由记录派生每编辑一次记录就以光标处结尾的那段Romaji为范围做一次求值evaluation交给罗马字转换器处理被规则消费的击键会被改写为规则输出。由此派生出三个只读视图input_buffer.rsdisplay直接把所有元素按字符拼起来就是预编辑区显示内容reading排除光标处活动段active run后的文本即真正送去做汉字转换的假名读音pending光标处活动段本身显示为辅助行里的罗马字尾巴比如打wa时的わa一个重要的细节求值只作用于光标左侧那段活动击键绝不允许字符跨越光标合并。所以把光标移到词中间接着打字也不会破坏光标右侧已有的内容。为什么删除与光标移动如此简单退格/Delete 的逻辑朴素到令人安心删掉恰好一个元素然后对删除所连上的那段击键重新求值input_buffer.rs。由于求值幂等结果永远等价于把剩下的击键重新打一遍。源码注释里举了两个例子对ytko按退格删掉こ露出活的o→ 依次变成 「yと」再变 「よ」对yt1t删掉1于是ytt被重新求值 → 「yっt」促音复活光标移动更省事移动本身不结算任何东西cursor.rs未求值的罗马字保持活状态移动后继续打字依然能和它们组合。输入缓冲如何驱动整个 IMEInputBuffer是主引擎InputMethodEngine的字段之一mod.rs下游模块全部通过它读取状态形成清晰的单向数据流预编辑显示display.rs 用display()cursor()构建带下划线和光标位置的预编辑串开启实时转换Live Conversion时则拼接已转换文本 pending 尾巴。实时转换与 Chunk 切分reading()输出假名读音后按 chunk 逐段送模型推理未变动的 chunk 命中缓存、不再重复推理——这正是 Karukan 打词流畅的关键。提交与学习回车提交前先settle_romaji()把剩余击键就地定型再用reading()作为学习缓存的键input.rs下次输入相同读音时优先给出你选过的结果。模式切换退出片假名模式时bake_katakana()把平假名元素永久改写为片假名预编辑就不会变回平假名。在 fcitx5 中实际体验 Karukan 的输入过程源码导航相关模块路径想深入阅读 Karukan 输入缓冲与输入引擎源码可以从这些文件入手输入缓冲核心karukan-im/core/src/core/engine/input_buffer.rs主引擎状态机与输入缓冲字段karukan-im/core/src/core/engine/mod.rs键处理Composing 状态karukan-im/core/src/core/engine/input.rs光标移动与删除karukan-im/core/src/core/engine/cursor.rs预编辑与辅助行构建karukan-im/core/src/core/engine/display.rs预编辑数据结构karukan-im/core/src/preedit.rs键位绑定文档docs/key-bindings.md配置项实时转换、转换策略、学习缓存docs/configuration.md小结一套设计原则带来的收益Karukan 的InputBuffer没有复杂的状态机靠三条原则解决了 IME 最头疼的一致性问题记录即真相VecElementcursor是唯一可变状态display / reading / pending 全是派生视图天然不会失步元素即显示字符一一对应的不变量让光标、删除、跨模式编辑都退化为普通数组操作编辑必求值、求值必幂等每次增删后对活动击键段重新求值任何编辑路径的结果都等价于从头重打一遍。这也是为什么在 Karukan 里退格复活促音、光标移动后继续组合、混合输入字母与假名这些反直觉操作都能自然成立。对于任何想自研输入法或理解 IME 内部机制的开发者这份源码karukan-im/core/都是极佳的范例。【免费下载链接】karukanJapanese Input Method System for Linux, macOS, Neural Kana-Kanji Conversion Engine项目地址: https://gitcode.com/GitHub_Trending/ka/karukan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Karukan输入缓冲InputBuffer设计解析：一个数组如何驱动整个IME
Karukan输入缓冲InputBuffer设计解析一个数组如何驱动整个IME【免费下载链接】karukanJapanese Input Method System for Linux, macOS, Neural Kana-Kanji Conversion Engine项目地址: https://gitcode.com/GitHub_Trending/ka/karukanKarukan 是一款面向 Linux 与 macOS 的日语输入法Japanese Input Method内置神经网络假名-汉字转换引擎。它的核心引擎中最精巧的设计之一是InputBuffer输入缓冲一个元素数组加一个光标索引就驱动了预编辑显示、罗马字转假名、实时转换与汉字转换的全部流程。这篇文章带你读懂这套单一事实来源的设计看看 IME 输入缓冲是如何做到又小又稳的。什么是 InputBuffer 输入缓冲在输入法IME里你按下kyo屏幕上的下划线区域预编辑区会先显示kyo随后自动变成きょ而光标随时可以移动、随时可以按退格纠正。这些行为听起来琐碎实际上最容易出 bug显示文本、假名读音、转换候选之间必须严格一致任何一处状态不同步都会导致按错一个键全盘乱掉。Karukan 的解法非常克制只维护一份记录record其他一切视图都从它派生。文件头部的注释把这件事说得很直白input_buffer.rs记录是唯一事实来源每个显示字符对应一个元素外加一个把光标当作元素索引的cursor。元素数组 光标单一事实来源整个InputBuffer结构只有两个字段input_buffer.rspub(super) struct InputBuffer { elements: VecElement, // 每个元素 一个显示字符 cursor: usize, // 光标 元素边界索引同时也是显示位置 }这里有一个关键不变量元素和显示字符一一对应。所以你输入kyo时记录是[Romaji(k), Romaji(y), Romaji(o)]规则触发后会被重新记录为[Converted(き), Converted(ょ)]——记录永远不会和屏幕上显示的内容打架光标也只是两边共用的一个索引。两种元素活的键盘击键 vs 已定型字符数组里的每个元素只有两种形态input_buffer.rs元素含义例子Romaji(char)还没被转换规则消费的击键保持活的状态k、y、孤立的nConverted(char)已定型的字符规则输出、直接透传如数字1、或字母/表情模式的直接输入永不回退き、ょ、1、A这个区分是整套设计的心脏Romaji随时可以被后续击键接走而Converted是既成事实绝不被再次改写。求值一切视图都由记录派生每编辑一次记录就以光标处结尾的那段Romaji为范围做一次求值evaluation交给罗马字转换器处理被规则消费的击键会被改写为规则输出。由此派生出三个只读视图input_buffer.rsdisplay直接把所有元素按字符拼起来就是预编辑区显示内容reading排除光标处活动段active run后的文本即真正送去做汉字转换的假名读音pending光标处活动段本身显示为辅助行里的罗马字尾巴比如打wa时的わa一个重要的细节求值只作用于光标左侧那段活动击键绝不允许字符跨越光标合并。所以把光标移到词中间接着打字也不会破坏光标右侧已有的内容。为什么删除与光标移动如此简单退格/Delete 的逻辑朴素到令人安心删掉恰好一个元素然后对删除所连上的那段击键重新求值input_buffer.rs。由于求值幂等结果永远等价于把剩下的击键重新打一遍。源码注释里举了两个例子对ytko按退格删掉こ露出活的o→ 依次变成 「yと」再变 「よ」对yt1t删掉1于是ytt被重新求值 → 「yっt」促音复活光标移动更省事移动本身不结算任何东西cursor.rs未求值的罗马字保持活状态移动后继续打字依然能和它们组合。输入缓冲如何驱动整个 IMEInputBuffer是主引擎InputMethodEngine的字段之一mod.rs下游模块全部通过它读取状态形成清晰的单向数据流预编辑显示display.rs 用display()cursor()构建带下划线和光标位置的预编辑串开启实时转换Live Conversion时则拼接已转换文本 pending 尾巴。实时转换与 Chunk 切分reading()输出假名读音后按 chunk 逐段送模型推理未变动的 chunk 命中缓存、不再重复推理——这正是 Karukan 打词流畅的关键。提交与学习回车提交前先settle_romaji()把剩余击键就地定型再用reading()作为学习缓存的键input.rs下次输入相同读音时优先给出你选过的结果。模式切换退出片假名模式时bake_katakana()把平假名元素永久改写为片假名预编辑就不会变回平假名。在 fcitx5 中实际体验 Karukan 的输入过程源码导航相关模块路径想深入阅读 Karukan 输入缓冲与输入引擎源码可以从这些文件入手输入缓冲核心karukan-im/core/src/core/engine/input_buffer.rs主引擎状态机与输入缓冲字段karukan-im/core/src/core/engine/mod.rs键处理Composing 状态karukan-im/core/src/core/engine/input.rs光标移动与删除karukan-im/core/src/core/engine/cursor.rs预编辑与辅助行构建karukan-im/core/src/core/engine/display.rs预编辑数据结构karukan-im/core/src/preedit.rs键位绑定文档docs/key-bindings.md配置项实时转换、转换策略、学习缓存docs/configuration.md小结一套设计原则带来的收益Karukan 的InputBuffer没有复杂的状态机靠三条原则解决了 IME 最头疼的一致性问题记录即真相VecElementcursor是唯一可变状态display / reading / pending 全是派生视图天然不会失步元素即显示字符一一对应的不变量让光标、删除、跨模式编辑都退化为普通数组操作编辑必求值、求值必幂等每次增删后对活动击键段重新求值任何编辑路径的结果都等价于从头重打一遍。这也是为什么在 Karukan 里退格复活促音、光标移动后继续组合、混合输入字母与假名这些反直觉操作都能自然成立。对于任何想自研输入法或理解 IME 内部机制的开发者这份源码karukan-im/core/都是极佳的范例。【免费下载链接】karukanJapanese Input Method System for Linux, macOS, Neural Kana-Kanji Conversion Engine项目地址: https://gitcode.com/GitHub_Trending/ka/karukan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
