Driving Transformation with Strategic KPIs: Scott Collister

An engaging dialogue with the seasoned operations executive during Legalweek 2024 in New York. Scott Collister explores the significant impact of Key Performance Indicators (KPIs) in legal settings, emphasizing their role in fostering improvement and operational efficiency. He discusses his approach to integrating KPIs within legal operations, sharing insights on leadership, strategic planning, and leveraging technology to ensure high-performance outcomes and client satisfaction.

English | Spanish | Portuguese

Can you share the impact of KPIs and metrics on your legal work and any key benefits? (00:00:24)

I think a lot of people forget about KPIs, and they are what drives improvement. So to me, not having KPIs is that old expression that if you don't have a map, you’ll never get there. So I'll tell a story about an opportunity I had where we worked in the mass tort business. And our clients were law firms. Those law firms had 50,000 clients. This is like you see the Camp Lejeune and all that kind of thing. And the law firms move over handling of the clients to us. So we have thousands of people calling us, and they want to know the status of their claim. And they're very angry. And if they don't like what they hear, they call the law firm, which is our client. 

So one of the things we did was when I got there, there were no KPIs. And so we would answer the phone whenever we could answer the phone. And we had less than 20 people and 16,000 calls a day. That's very high volume for the number of people. So what we decided, after doing some measurement and deciding on the path forward, that we could set a KPI. That's a 1 minute answer and a three minute call resolution. And we had calls that went on and on and on and on. And it took a lot of training. And the training was, how do you resolve a call that might go six minutes or 20 minutes? How do you resolve that very quickly.

So we were able to do some training. We were able to develop some systems. Right. So part of the problem with the delay in being able to answer a question was the fact that there were multiple data sources that agents would have to go to in order to answer your question. Right. So we combined that. We trained on that. We trained on customer service. We don't know that you get a KPI off of that. But we did measure people's performance in terms of how they spoke, and we got down to answering the phones within a minute and resolving questions on an average of three minutes. And that, to me, is a KPI that is meaningful and simply was never measured. Right. So again, you don't have a map. You'll never get there. Set the KPI, and then decide what you have to do to meet it, and then drive forward.

What are the operational challenges in determining valuable KPIs? (00:03:14)

I don't want to sound naive, but when you come in with a KPI, something that's never been measured before, there's buy-in. I used to report into the president of the company and the president of the company reported into the CEO of the company, and one day CEO of the company walked in and said, why do we have so many? Why are we paying for all these agents in the call center? And the president said, you remember what happened before they started this? Every day there was a crisis. 

Every day our client was calling us up because their client, who we're responsible for, stayed on hold for 20 minutes, never got a call back, never got a sufficient answer. What has happened in the past four years? Nothing, right? Because we had that KPI and we drove to that KPI and then we also measured customer satisfaction, which is a little bit more subjective, but we had four supervisors who would listen to calls, every call, every other call, whatever we could per agent, and then grade each agent and then sit them down and say, you did very well, or you did very well and unique, but you need some improvement here. Right? Any way that you look at it, we were getting their skill level up, which helped bring the call time down, which then had the effect of bringing the time to answer them. Right. If you're not spending six minutes on the phone, you can answer the phone in a minute, which is reasonable.

What's the first step in choosing valuable KPIs and metrics for beginners with data? (00:05:03)

That's a really good question. There's a book out called legal operations, KPIs. I would recommend people look at that. That's a good way to get started. I think what it takes is you have to understand your business. You have to understand your business and you can't manage what you can't measure. Old cliche, but you shouldn't be measuring everything. Not everything needs to be measured. What's important to the business, whatever's important to business, that's what needs to be managed. And that's where you need to have KPIs. What are the things that are important? Other stuff. That other layer of things that need to be done in the organization but don't usually affect. Well, there's a reason why they're called key performance indicators, right? So things that are key to the business and that's what you need to know.

Expert Bio

Scott Collister is a high-achieving senior executive with extensive experience in operations management, legal technology, and eDiscovery. With a solid background in the military as a member of the prestigious JAG Corps, Scott has demonstrated exceptional discipline and leadership, qualities that have translated into his civilian career. He excels at transforming corporations and law firms, streamlining operations, and leading teams to deliver sustainable, profitable growth. His strategic vision is complemented by a mastery of legal technology tools and methodologies, including AI and Machine Learning, making him a pivotal figure in the field of legal operations.

Throughout his career, Scott has been a driving force behind innovative strategies that enhance service delivery and client satisfaction. His ability to set clear goals, coupled with his analytical approach to problem-solving, allows him to adapt swiftly to changing business environments. An active participant in the legal community, Scott has held leadership roles in various professional groups and is a frequent speaker on litigation technology and eDiscovery. His commitment to excellence and advocacy for professional development make him an invaluable asset to any organization.

¿Puede compartir el impacto de los KPIs y métricas en su trabajo legal y cualquier beneficio clave? (00:00:24)

Creo que mucha gente olvida los KPIs, y son los que impulsan la mejora. Para mí, no tener KPIs es como el viejo dicho de que si no tienes un mapa, nunca llegarás allí. Así que contaré una historia sobre una oportunidad que tuve donde trabajábamos en el negocio de las demandas masivas. Y nuestros clientes eran firmas de abogados. Esas firmas de abogados tenían 50,000 clientes. Esto es como lo que ves en Camp Lejeune y ese tipo de cosas. Y las firmas de abogados nos trasladaban el manejo de los clientes. Así que teníamos miles de personas llamándonos, y querían saber el estado de su reclamo. Y estaban muy enojados. Y si no les gustaba lo que escuchaban, llamaban a la firma de abogados, que era nuestro cliente.

Entonces, una de las cosas que hicimos fue que cuando llegué allí, no había KPIs. Y así que respondíamos el teléfono cada vez que podíamos responderlo. Y teníamos menos de 20 personas y 16,000 llamadas al día. Eso es un volumen muy alto para el número de personas. Así que lo que decidimos, después de hacer algunas mediciones y decidir el camino a seguir, fue establecer un KPI. Eso es una respuesta de 1 minuto y una resolución de llamada de tres minutos. Y teníamos llamadas que seguían y seguían y seguían. Y tomó mucho entrenamiento. Y el entrenamiento fue, ¿cómo resuelves una llamada que podría durar seis minutos o 20 minutos? ¿Cómo resuelves eso muy rápidamente?

Así que pudimos hacer algo de entrenamiento. Pudimos desarrollar algunos sistemas. Bien. Parte del problema con el retraso en poder responder una pregunta era el hecho de que había múltiples fuentes de datos a las que los agentes tendrían que acudir para responder tu pregunta. Bien. Así que combinamos eso. Nos entrenamos en eso. Nos entrenamos en servicio al cliente. No sabemos que obtienes un KPI de eso. Pero medimos el desempeño de las personas en términos de cómo hablaban, y logramos responder las llamadas dentro de un minuto y resolver preguntas en un promedio de tres minutos. Y eso, para mí, es un KPI significativo y simplemente nunca se midió. Bien. Así que de nuevo, si no tienes un mapa. Nunca llegarás allí. Establece el KPI, y luego decide qué tienes que hacer para cumplirlo, y luego avanza.

¿Cuáles son los desafíos operativos para determinar KPIs valiosos? (00:03:14)

No quiero sonar ingenuo, pero cuando presentas un KPI, algo que nunca se ha medido antes, hay aceptación. Solía reportar al presidente de la empresa y el presidente de la empresa reportaba al CEO de la empresa, y un día el CEO de la empresa entró y dijo, ¿por qué tenemos tantos? ¿Por qué estamos pagando por todos estos agentes en el centro de llamadas? Y el presidente dijo, ¿recuerdas qué pasaba antes de que empezaran con esto? Todos los días había una crisis.

Todos los días nuestro cliente nos llamaba porque su cliente, por el que somos responsables, esperaba en espera durante 20 minutos, nunca recibía una llamada de vuelta, nunca recibía una respuesta suficiente. ¿Qué ha pasado en los últimos cuatro años? Nada, ¿verdad? Porque teníamos ese KPI y nos enfocamos en ese KPI y también medimos la satisfacción del cliente, que es un poco más subjetiva, pero teníamos cuatro supervisores que escuchaban llamadas, cada llamada, cada otra llamada, lo que pudiéramos por agente, y luego calificaban a cada agente y luego los sentaban y les decían, lo hiciste muy bien, o lo hiciste muy bien y de manera única, pero necesitas mejorar aquí. ¿Verdad? De cualquier manera que lo mires, estábamos elevando su nivel de habilidad, lo que ayudaba a reducir el tiempo de llamada, lo que luego tenía el efecto de reducir el tiempo para responderlas. ¿Verdad? Si no estás pasando seis minutos en el teléfono, puedes contestar el teléfono en un minuto, lo cual es razonable.

¿Cuál es el primer paso en la elección de KPIs y métricas valiosas para principiantes con datos? (00:05:03)

Esa es una muy buena pregunta. Hay un libro llamado "Legal Operations KPIs". Recomendaría a las personas que lo consulten. Esa es una buena manera de comenzar. Creo que lo que se necesita es entender tu negocio. Tienes que entender tu negocio y no puedes gestionar lo que no puedes medir. Es un viejo cliché, pero no deberías estar midiendo todo. No todo necesita ser medido. Lo que es importante para el negocio, lo que sea importante para el negocio, eso es lo que necesita ser gestionado. Y ahí es donde necesitas tener KPIs. ¿Cuáles son las cosas importantes? Otras cosas. Esa otra capa de cosas que necesitan hacerse en la organización pero que usualmente no afectan. Bueno, hay una razón por la cual se llaman indicadores clave de rendimiento, ¿verdad? Así que son cosas clave para el negocio y eso es lo que necesitas saber.

Biografía del Experto

Scott Collister es un ejecutivo senior de alto rendimiento con amplia experiencia en gestión de operaciones, tecnología legal y eDiscovery. Con un sólido trasfondo militar como miembro del prestigioso Cuerpo JAG, Scott ha demostrado una disciplina excepcional y liderazgo, cualidades que ha trasladado a su carrera civil. Se destaca en transformar corporaciones y bufetes de abogados, optimizando operaciones y liderando equipos para lograr un crecimiento sostenible y rentable. Su visión estratégica se complementa con un dominio de herramientas y metodologías de tecnología legal, incluidos la IA y el Aprendizaje Automático, lo que lo convierte en una figura clave en el campo de las operaciones legales.

A lo largo de su carrera, Scott ha sido una fuerza impulsora detrás de estrategias innovadoras que mejoran la entrega de servicios y la satisfacción del cliente. Su capacidad para establecer objetivos claros, junto con su enfoque analítico para resolver problemas, le permite adaptarse rápidamente a entornos empresariales cambiantes. Participante activo en la comunidad legal, Scott ha ocupado roles de liderazgo en varios grupos profesionales y es un orador frecuente sobre tecnología de litigios y eDiscovery. Su compromiso con la excelencia y la defensa del desarrollo profesional lo convierten en un activo invaluable para cualquier organización.

Pode compartilhar o impacto dos KPIs e métricas no seu trabalho jurídico e quais os principais benefícios? (00:00:24)

Eu acho que muitas pessoas esquecem dos KPIs, e eles são o que impulsiona a melhoria. Para mim, não ter KPIs é aquela velha expressão que se você não tem um mapa, você nunca chegará lá. Então, vou contar uma história sobre uma oportunidade que tive onde trabalhamos no negócio de ações de massa. E nossos clientes eram escritórios de advocacia. Esses escritórios tinham 50.000 clientes. Isso é como você vê o Camp Lejeune e todo esse tipo de coisa. E os escritórios de advocacia passaram a gestão dos clientes para nós. Então, tínhamos milhares de pessoas nos ligando, e eles queriam saber o status da sua reivindicação. E eles estavam muito irritados. E se eles não gostassem do que ouviam, eles ligavam para o escritório de advocacia, que era nosso cliente.

Então, uma das coisas que fizemos foi, quando cheguei lá, não havia KPIs. E então nós atendíamos o telefone quando podíamos. E tínhamos menos de 20 pessoas e 16.000 chamadas por dia. Isso é um volume muito alto para o número de pessoas. Então, o que decidimos, após fazer algumas medições e decidir o caminho a seguir, que poderíamos estabelecer um KPI. Isso é uma resposta em 1 minuto e uma resolução de chamada em três minutos. E tínhamos chamadas que continuavam e continuavam. E isso exigiu muito treinamento. E o treinamento foi, como você resolve uma chamada que pode durar seis minutos ou 20 minutos? Como você resolve isso rapidamente.

Conseguimos fazer algum treinamento. Conseguimos desenvolver alguns sistemas. Certo. Então, parte do problema com o atraso em poder responder uma pergunta era o fato de que havia múltiplas fontes de dados que os agentes precisavam consultar para responder sua pergunta. Certo. Então combinamos isso. Treinamos nisso. Treinamos em atendimento ao cliente. Não sabemos se você obtém um KPI disso. Mas medimos o desempenho das pessoas em termos de como elas falavam, e conseguimos atender os telefones dentro de um minuto e resolver perguntas em uma média de três minutos. E isso, para mim, é um KPI que é significativo e simplesmente nunca foi medido. Certo. Então, novamente, você não tem um mapa. Você nunca chegará lá. Defina o KPI, e então decida o que você tem que fazer para atendê-lo, e então siga em frente.

Quais são os desafios operacionais em determinar KPIs valiosos? (00:03:14)

Eu não quero parecer ingênuo, mas quando você chega com um KPI, algo que nunca foi medido antes, há aceitação. Eu costumava reportar ao presidente da empresa e o presidente da empresa reportava ao CEO da empresa, e um dia o CEO da empresa entrou e disse, por que temos tantos? Por que estamos pagando por todos esses agentes no call center? E o presidente disse, você se lembra do que aconteceu antes de eles começarem isso? Todos os dias havia uma crise.

Todos os dias nosso cliente nos ligava porque seu cliente, pelo qual somos responsáveis, ficava em espera por 20 minutos, nunca recebia retorno, nunca obtinha uma resposta suficiente. O que aconteceu nos últimos quatro anos? Nada, certo? Porque tínhamos esse KPI e nós dirigimos para esse KPI e também medimos a satisfação do cliente, que é um pouco mais subjetiva, mas tínhamos quatro supervisores que ouviam chamadas, cada chamada, cada outra chamada, o que pudéssemos por agente, e então avaliavam cada agente e então os sentavam e diziam, você foi muito bem, ou você foi muito bem e único, mas você precisa de alguma melhoria aqui. Certo? De qualquer forma que você olhe, estávamos aumentando o nível de habilidade deles, o que ajudava a reduzir o tempo de chamada, o que então tinha o efeito de reduzir o tempo de resposta. Certo. Se você não está gastando seis minutos no telefone, você pode atender o telefone em um minuto, o que é razoável.

Qual é o primeiro passo na escolha de KPIs e métricas valiosos para iniciantes com dados? (00:05:03)

Essa é uma ótima pergunta. Há um livro chamado operações legais, KPIs. Eu recomendaria que as pessoas olhassem isso. É uma boa maneira de começar. Eu acho que o que é necessário é você entender seu negócio. Você precisa entender seu negócio e você não pode gerenciar o que você não pode medir. Clichê antigo, mas você não deveria estar medindo tudo. Não tudo precisa ser medido. O que é importante para o negócio, o que quer que seja importante para o negócio, é isso que precisa ser gerenciado. E é aí que você precisa ter KPIs. Quais são as coisas que são importantes? Outra camada de coisas que precisa ser feita na organização, mas geralmente não afeta. Bem, há uma razão pela qual eles são chamados de indicadores chave de desempenho, certo? Então coisas que são chave para o negócio e é isso que você precisa saber.

Biografia do Expert

Scott Collister é um executivo sênior de alto desempenho com vasta experiência em gestão de operações, tecnologia jurídica e eDiscovery. Com um sólido histórico militar como membro do prestigiado Corpo JAG, Scott demonstrou disciplina excepcional e liderança, qualidades que foram traduzidas para sua carreira civil. Ele é excelente em transformar corporações e escritórios de advocacia, otimizando operações e liderando equipes para entregar crescimento sustentável e lucrativo. Sua visão estratégica é complementada por um domínio das ferramentas e metodologias de tecnologia jurídica, incluindo IA e Aprendizado de Máquina, tornando-o uma figura central no campo das operações legais.

Ao longo de sua carreira, Scott tem sido uma força motriz por trás de estratégias inovadoras que melhoram a entrega de serviços e a satisfação do cliente. Sua habilidade para estabelecer objetivos claros, juntamente com sua abordagem analítica para solução de problemas, permite que ele se adapte rapidamente a ambientes de negócios em mudança. Um participante ativo na comunidade jurídica, Scott ocupou papéis de liderança em diversos grupos profissionais e é um palestrante frequente sobre tecnologia de litígio e eDiscovery. Seu compromisso com a excelência e advocacia pelo desenvolvimento profissional o tornam um ativo inestimável para qualquer organização.