スプレッドシートでのLLM評価はもう限界！LangfuseとDatadogで構築したLLMOps基盤の全貌
はじめに株式会社CaratでLLMアプリケーション「AIジョブサーチ」の開発エンジニアをしているスカイです。サービスリリースから約1.5年経過しMAUは約3万人が利用するサービスとなりました。サービスの利用者が増えるごとに、LLMの出力評価…
テクノロジー
4本の記事
Smitheryで MCPサーバーを探してCursorから簡単に呼び出してみる
CursorでMCPを使ってAgentを動かすときに、設定が手間だと思っていたのと、あとはどんなMCPがあるのか提供されているのかっていうのを一覧で見れると便利だなぁと思っていたので、そういうサービスがないか調べてみました。 Smither…
Google ColabでUnslothを使いLlamaのファインチューニングを試してみた
はじめにCaratの脇山です。最近、モデルサイズが比較的小さく精度も高いオープンLLMモデルがどんどん登場しています。私は時々70Bのモデルを自分のPCで動かしています。しかし、70BサイズのモデルをPCで動かそうとすると発熱や生成速度が遅…
OpenAI gpt-4o でzero shotで異常検知(Anomaly Detection)を試してみる
はじめにこんにちは、Caratの脇山です。先日 gpt-4o が発表リリースされました。性能、速度、料金などがアップデートされましたね。続きをみる