HuaRenCa
Back to Forum
Community

WeChat入力方式のセンシティブワード抽出ツール

醉听松风
醉听松风

2 weeks ago

この投稿を見て、なるほど自分の手が不器用なせいじゃなく、クックが毎日バックグラウンドで私と綱引きしてたのか! - #13、xjx さんの投稿から感じたこと、

実はWeChat入力方式にもセンシティブワードがあって、しかもすごく笑える

ネタバレ

v2exアカウントを持っていない人のために、ここに貼っておきます

興味本位で、AIの助けを借りて、このWeChat入力方式のセンシティブワード抽出ツールを作りました

現在この辞書の語彙数は1万強で、抽出結果のプレビュー:

(内容が過激すぎるので、ここには結果を載せません)

このツールはWeChat入力方式のインストールディレクトリにある.\BuildIn\cell_dict.ssrc.zhファイルから抽出し、Windowsの最新版でテスト済みです

具体的な使い方:

python export_sensitive_single.py -f <cell_dict.ssrc.zh> -o <out.txt>

さらに面白い発見として、WeChat入力方式にはもう一つ、それほどセンシティブではない「センシティブワード」辞書(kind=440)が内蔵されています

この追加の辞書は語句を組み立てられますが、入力方式の実装では別に分類されており、

特別な処理(例えば記録など)があるかどうかは、私はこれ以上分析していません

ツールのダウンロード先: https://pastebin.com/emEXbrCh (抽出コード:x7E56zQ4uZ )

ダウンロードしたくない人のために、完全版の辞書を用意しています

WeChat入力方式のセンシティブワード抽出ツール

6
1.7K

Comments (6)

Your avatar
Sign in to comment
荒野丛林
荒野丛林2 weeks ago

macOS ではパスが異なる可能性があるため、まずシステムを確認してから作業するのが確実です。

易济
易济2 weeks ago

1万件以上を抽出するのにどのくらい時間がかかるか教えていただけますか?また、先に入力メソッドを完全に終了させる必要はありますか?それから、kind=440 の部分も一緒にエクスポートする予定ですか、それともメイン辞書だけを処理しますか?

飘移不过弯
飘移不过弯2 weeks ago

おっしゃる kind=440 を単独で分類する件ですが、これは単に入力方式が語句の連想に使うだけで、ブロックのロジックとは関係ないのではないかと思っています。この点はファイル構造からもう一度確認できますか?

adas67890
adas678901 week ago

まずハッシュを確認してください。スクリプトを直接ダブルクリックして実行しないでください。

猫科斯塔灬
猫科斯塔灬1 week ago

この種のツールを共用PCで使う際は注意が必要です。エクスポートしたtxtが同期ドライブやバックアップソフトによって持ち出される可能性があります。また、インストールディレクトリはバージョンによって変わるため、アップグレード後にファイルパスが無効になることがあります。仮想マシンや隔離された環境で実行するのが望ましく、結果も気軽に外部へ共有しないでください。

平安江南咏
平安江南咏1 week ago

要は辞書の出所とバージョンが一致していないと歪みが生じるので、抽出時の入力メソッドのバージョン番号を明記しておけば、後の照合・更新がしやすくなります。