作ったものとか.
Nayco
雑にMQTT投げたりCSVファイル置くだけで、いい感じにDWHへ蓄積してダッシュボード作れるなんちゃってオンプレデータ基盤です。自分のデータエンジニアリングを楽にするために作りました。詳しくはこちら。
Naycoの中で動く以下のOSSも作りました。
- Grebe: RabbitMQから受け取ったJSON/CSVテキストをいい感じにClickHouseへ蓄積する
- Lake Weed: JSON/CSV のテキストを受け取って、いい感じにClickHouseの型へマッピングするライブラリ。Grebeの中で使っています。そのうちClickHouse以外のDBMSにも対応したい。
- o-namazu: フォルダを監視して、ファイルが置かれたり追記されたら差分をMQTTで送信するデータシッパー。設定ファイルを置くだけで、フォルダごとの監視条件を設定できる。
- Uminoco: Grebeで貯めたClickHouse上のデータを見たりテーブル操作するためのサービス。テーブルがいつ作られて、どれくらいのサイズになっていて、最新の値や最近のデータ件数をヒートマップで見れるなど、便利そう!と思う機能を適当に入れています。
Yasuri
Yasuri (鑢) はWebスクレイピングを宣言的に行うためのライブラリと、それを用いたスクレイピングのコマンドラインツールです。 以下のようなよくある処理を、宣言的に記述し、結果を得ることができます.
- ページ内の複数のリンクを開いて、各ページをスクレイピングした結果をHashで取得する
- ページ内の複数のテキストをスクレイピングし、名前をつけてHashにする
- ページ内に繰り返し出現するテーブルをそれぞれスクレイピングして、配列として取得する
- ページネーションで提供される各ページのうち、上位3つだけを順にスクレイピングする
|
|
|
|
932mania
Vue.js + Firebase で作ったお試しアプリ。Wikipediaをスクレイピングして、「草津」から始まる記事を表示します。
AutoSettings
起動しているアプリやシステムの状態に応じて設定を自動で切り替えるAndroidアプリです.
(現在は公開を停止しています)
Droid Jammer
顔認識ライブラリを利用して,画像中の顔を隠すAndroidアプリです.
(現在は公開を停止しています)