波斯语文本预处理不能只依赖普通空格。半空格、连写形式、标点、数字和不同的 Unicode 规范化方式，都可能改变检索结果。一个看似相同的词，在原始文本中可能由不同的码位组合而成。
形态分析的第一步通常是确认输入文本的编码和规范化状态。若文本来自网页复制、PDF OCR 或旧式数据库，字符顺序和连接符可能已经被改写。先保留原文，再生成用于检索的标准化版本，可以避免后续无法追溯。
先看概念，再看页面
分词适合回答句子由哪些单位组成，形态分析则继续回答单位内部包含哪些词缀、词根或语法信息。对于复合谓词和轻动词结构，还要保留词项之间的关系，不能为了方便搜索而把所有空格都删除。资料库的作用是让人知道内容从哪里来、适合解决什么问题，以及下一步应该查哪一层。
实际整理时可以准备三列：原始文本、规范化文本和用于索引的 token。这样既能支持全文搜索，也能在用户点击结果时回到原始写法。对从右向左的页面，界面还要检查标点、数字和拉丁字母混排后的视觉顺序。Persian NLP 的页面不把一次结果写成固定承诺，而是保留设备、时间和来源这些条件。
适合留下的记录
| 记录项 | 建议写法 | 避免误判 |
|---|---|---|
| 文本或资源 | 写清来源、时间、设备或语料范围 | 不要只留下一个结论或一个测速数字 |
| 编码与方向 | 把 Unicode/RTL 或 Wi-Fi/热点等条件单独记录 | 不要把不同系统和不同网络混成一个现象 |
| 引用与版本 | 保留页面、版本、区域和回退入口 | 不要把不明来源当成官方文件或固定线路 |
从一个具体场景开始
实际整理时可以准备三列：原始文本、规范化文本和用于索引的 token。这样既能支持全文搜索，也能在用户点击结果时回到原始写法。对从右向左的页面，界面还要检查标点、数字和拉丁字母混排后的视觉顺序。如果结果涉及波斯语、英文和中文混排，还要在桌面与手机上分别查看方向和换行。
遇到相似问题时，先保留当前可用状态，再做一项对照测试。这样既能减少重复操作，也能让下一次阅读或排查更接近真实情况。