Evaluate AI agents on real-world tasks.

We build realistic tests for AI agents using care data gathered through years of work with Memcara and long-term care partners.

Learn More

Research developed in partnership with

How it works

Gather evidence

We gather relevant records, notes, and recordings with permission from our care partners.

                              *  ↗                                 ○                                                      ↗           *↗                         s  y   ·          .                        +                     ce i s   per i         vi enc                                              c  ne     ○  i s sou            ○ +ssione                ○  s attach      *                          c ed                    ↗ ○↗       u p   ○     h  r  ht        ed                                                       *○ :*          se a d t                     ↗○          +                ↗               ○     ○·○.* ↗  ○.   ○○  *        ◇                                                .              ◇○ ·  ↗↗+ ○.*     ◇+·↗                                                                          +◇.     ↗* *○↗ ◇* .   +*:                            +.                                   : + · + ..  . :.◇ ·◇ ○+○  ○+    .                                                                ·· ◇ *:  :*+  ◇· ◇ *○: : +↗◇.+           i                                                      ↗+ +. *.+ :n   and ·· ○ ◇ +·. an of         ○rruption           .                 ◇           ·:  . th↗ ↗ig*    ·+:th  se u· ○i t+:                   the                                      ro+ .+↗ ↗    +◇  ↗◇◇:+· rea↗ nhe·  ○                             ◇    +           ○              * .+↗ +○○↗* ◇  ○ +o◇  ◇*◇*○ ○+↗↗                          ↗  *                    +             · :  :+ ·  ·+  ++:.:↗ ** · ○::·◇○:○       *                      ◇      ◇          ◇         ◇ ◇  + + +○◇.↗· .◇○·.   ◇ .  ↗ +◇○  ◇                              ○                              ◇◇.    ○○ ○↗   *··. : *·*:  ○    ·                                                               ↗·+↗○:  + :*: ↗ ◇◇*.+ *◇· ·◇ ++.                                                        ◇      *     + +◇*↗.· ○ ↗↗◇: ○.  ·  ○         ↗r      ·                 ◇ +                                 *◇·◇::::◇◇.+  : ·○◇ .: ...↗acse a e a essin   e        a d                           ·            .  ○ ·+:+·:◇*.·* ·.↗s○   e         g ee  bef  enti  e c                                            ○·○* *+* *  · s   · :*    ↗              or  e i                                                 ◇ .  +:                               +                                      ◇  +           +        :                                                                ↗               *                                                               .                                     ○   *                 ○                                                                                +                 ◇        ○

Build cases

We turn the evidence into realistic tasks with clear goals and expert-reviewed criteria.

     +                           ·           :                 .=                                                 \             ^                                          =             ^                                 the ta k the avai       on\                                                                    :·e constr i  s a  able   s l                                                                           hat woul     nt     u                                                           ·                /               s                                /                                                    :   ^ :=    + :./                    ^                                                ^ =     ·    =  · \/:.^/· \:                                                                        =\^^+.   ·:   ^ ^ ^ +  /\                                                              /·        .^  :..\·  .= +\. /^:^^^^    /                       /    .^                          ·    : ·\ .=^ =+=  /   ^::+ ///:  /         \                                    obse v d  e a io    +i / and·^·:+ /  \^^=·\·   /^//^^·               .:.          : \     / exp    ap    ed re     \e path==·^  ^  ^+// /\ \^ =    +\           t                     :        +              f ren=.\ \·\\   :.\ ^ + ^/  + / \ +/^e ain di                           \                          \.+·+= =    /::·. ^+ .\: + :\· ·. :/ ·.                     ^                                  . :  ^       ^.·^··  +:  =:·^^+:^ =·   +^^                           :                             ^//^+=:.:\ ^\.··.\  · =+/== =\/ ·^  /   : ·            /                                         / ·=^·=\  ^\+  :=/=·.·=^ / .\   /      /                                             +         + +:. · +: : /+ +:/\+/++   ^   ·\                                                                   . ^ . + :./ \.· / \=\   =+^ \                                                            =    one  ourc  si.=ati\==+\  s\ppo t                                                           tio      / . s\ve=·l /evn wed c .es  i h                                          xp i it    u p   ns   \=  .. ·+=\=  .    :^ : s/                                        \              /               \ ·          /   ^ :                                              .                   ^                       \          =                                         /        :                               \           +                 +              =                             =        ·                                                                                                                  +      ·    ·             =

Evaluate

We score your agent’s outputs against the evidence and criteria for each task.

        ~        _:              ∿         ·                         _                                          .         -         :             ·                  ext  o                           ∿                  _                              ret e  o  o t         r               _         :          n  r                               i e -d theu                          :         ≈ac       g  u      inty                  c r s c                                               -  knowl d ≈       ≈        -           :        ≈                                                                  ~                ≈      ≈ ∿-                                    .       ·           --   :                - :   -  · ·∿:.~ ∿                                                        :_   ~        -       _∿.  .  -    _~≈ _ . ·:   -~              .                 ≈           ≈                ·     -~_∿ ≈  ∿∿≈~≈ . ._·.:∿· _≈  ~:~                          ~            ~           he s          _ ·  ∿-≈.: ≈∿: ≈....· --~· .~            -                ∿                    e        ∿  ≈≈ · :th   ∿..∿  ∿≈ ·∿∿.~_ n·  ~∿≈:                               _            om              ≈:s· wi. ~ ·.: · :    fl~c: · _ ec∿r an     ng          aints       -             .             ∿  _-  :∿ ·.    :·∿c∿n: ·-:·~_≈- e~t≈s  i x  i       s r _                  :                    ∿·∿:··  -_≈· · ∿-:  ≈ :.- ~~.o _∿ - ·≈:      c   c                                  .           ~. .∿ .∿≈~ ~≈∿.     ≈· ≈:.≈-  _∿   :.·_∿                           ~  _          ·   ∿   _      : _ --~.≈.~:  ~ ·- ≈   ~_  ∿__≈~≈  :_            ≈                                            ~ - - ≈: · ~  · _- _·  -≈·-. . ~≈ .≈ ∿ ≈                                                        ~·· -. -.≈∿· ~    : :..:_   -· ≈_  ∿- ·                             :              ∿      .           ·~·-  --- ~_    __ ~   _._ · :vie  e              cert i                                         ~   ∿ ∿ __≈.:∿  ∿  -: ≈ ._: ei:∿ y           e une     n                                          . ≈·: -_  .∿c la i: ≈∿    .   -   nd  c  us  at                            ≈                 ~  ·. ·≈≈  ~  ∿~∿≈ :: n  ·     _        a pr.p                                                     ≈_             ∿:_   _                                ~                                                         ~               :               ≈           :~                             ·                -                            ≈                                                                                                                                                                                .         ·

Improve

We help you compare agent versions and turn failures into repeatable regression tests.

                                 ·      >                                                                                          +                                        +                      nspe t the f        +         .                                                        ·                  +  nd n  th                                 . bmitted outpu  a                        hat   ppo                        +                 /                    n       ource                     ts it >          +                 · \  .: \       >                      /                                              /   \ >/ ·/: /\ .   .  ·                                 :             ·                /      >  - \->/.-. >   >/ \:+                            .                                        :    :-> +- -·--·/ :/ /-\                                            \                        +>.  + ::+/>   +   .  .++:·                                                                 .  > /   :> -> >\+.  · ··. /- >·                                              -                      :> -  ··:+    : \: +·  .: ./·ec+ ./ t t    g                 > \                                +.>>.:+\  >  >   -··/·wha- i: /is:e-  n     ent    o  ed                                         -.\   > -·/-.  -unkno- :\/ >: :..  >     h :   mai s                  +                          >>·/ \ /\+    · >\ +>.·-:\· +\\ >-:                                  -                     -  +·.+:· :-.\   -:. > > . ..+/  /-:   /       >  ·                \    : -               .      +\.  >. /: \ · .    ·>: // \ ->:/·: :                                                 \      /   .. . .  ·:>:>·.  - > :    >>\ -                                                                  > :>   >     ->  -·.>+.·    > :+                        +          :                 >        \ >. :.:>>+\. > :  >\  :-- :+          \                               .    >                    /   -   p me·+ n fu- + > :·   - ·                          -:                                        peat >   tests  fai ure\ as                 >         +              +       >        +                     >>-for /he nev rsi     >                                                /                       /\\         :     on                                              >                    \             -                         -    >                   \ /  -                                              ·                                        +         .                                                                 .  -            ·                     \    ·                                 .

Contact the team to get started

More info