In an engaging session , Scott Coletti, Senior Business Manager responsible for legal technology architecture at TD Bank, shares his unique insights into tailoring legal technology to meet user demands. Highlighting the essence of understanding user needs over the mere technological aspects, Coletti offers practical advice on system design and data management. This discussion sheds light on the importance of a user-focused approach in enhancing legal operations and technology implementation.
English | Spanish | Portuguese
So it's always the same kind of thing. It's like you really have to understand what the users want. Right. And I always tell people when I build a system, don't put fields in there that you're not going to use for reporting purposes. And they need to be organized and structured, and they need to be required when they're required. And if you're going to be reporting on data, you have to have all the data. You can't not have some of the data added. So the technological challenges are really not technological challenges at all. It's really understanding what the users want. And if they can't articulate that to you, then it's a very difficult situation for reporting. So that's really key when you're doing the implementation, is to really ask them what they want in their reports. A lot of times they're not going to know.
And that's the difference, I guess, between a seasoned implementation consultant who can kind of pull those things out. But I would say that's really where the problem to me exists. The technologies are usually significant enough to be able to support the reporting or the KPIs. It's just that we need to know what the users actually want to run the business. Otherwise they're not running the business.
So it depends, right? I mean, it's both of those things. Sometimes it's me recognizing that there's a problem and going and sort of trying to iron it out to make sure that they solve it. Sometimes they come to me with whatever business problem they have, and a lot of times it's not that," oh, we can't report", or it's something totally different that I realize is caused by them not being able to have reports or the proper KPIs or whatever the case may be, or metrics they need. So really, I really think it's less of a technology problem and more of the users getting, giving you what they want. I know it's really kind of basic, but I really do think that's a huge part of the problem. Yeah, I mean, you need to start at the bottom to be able to work your way up. And if you don't have good data. You can't make detail where detail doesn't exist. But you can always summarize detail into a summary that doesn't exist. So pick your poison.
Right. The dirty data is a huge issue. Especially dirty data usually has to do with contact, at least at this day and age. For us, it's usually contacts. Right. And the reason why they're so dirty is because they're just so hard to clean. Right. Because there's nothing unique and nothing unique that we want to capture about anybody that's going to tell us that it's the same person. But otherwise, dirty data, I really feel like for us, it's not a big deal, but it's a huge deal. Right? Again, that's so trite. But garbage in, garbage out, and if you have dirty data, that's garbage. There's no other word for it. That's garbage. So you have to clean it up. It's a recognized as garbage dirty. Sometimes people don't even recognize that.
So we implemented a system, a reverse auction system. So really it's for outside counsel to go in and they would read through the statement of work and they would basically bid on it, but they bid to the lowest price, not the highest price. So there's some troubling issues with KPIs in this area, because some of the decision making that you would use isn't always dollars and cents. Right. There's other softer kind of things that you would worry about in something like that. And I really couldn't ever figure out how to put that into a measurement. I still don't know how.
Right. Like, why do you defer to this firm in terms of another firm, even though this other firm might be a little bit less expensive? And I get that. I would know it if I knew the business. I understand, but without understanding the business, I don't know how they figure it out. And that's a little frustrating because they can't tell me. I know they have exactly how they would do it. So you ask me for a frustrating one, or that's a troublesome one. I could go into many, many other examples, and some are good and some are bad, but that one in particular, because there's a human element to it and it's like almost AI-ish. Well, I don't want to say it's AI. It's real intelligence. Right? It's a human intelligence, and I don't know how to make that artificial.
Yeah, absolutely. I mean, that's what AI is all about, right? That's the whole thing is you want us to think like a human. We're still early in this and AI is like a big buzzword. We got to figure out what's real and what's not. But absolutely, I could absolutely see it doing that. I mean, it does it now, we don't really use it, but the AI technology supposedly does that now where it can summarize a document. Well, yeah, I want that.
Siempre es más o menos lo mismo. Realmente tienes que entender lo que los usuarios quieren. ¿Verdad? Siempre les digo a las personas cuando construyo un sistema, no pongan campos que no van a usar para fines de reporte. Y necesitan estar organizados y estructurados, y necesitan ser obligatorios cuando lo sean. Y si van a reportar sobre datos, tienen que tener todos los datos. No pueden faltar algunos datos. Entonces, los desafíos tecnológicos realmente no son desafíos tecnológicos en absoluto. Se trata realmente de entender lo que los usuarios quieren. Y si no pueden articularlo, entonces es una situación muy difícil para el reporting. Así que eso es realmente clave cuando estás haciendo la implementación, es preguntarles qué quieren en sus informes. Muchas veces no lo van a saber.
Y esa es la diferencia, supongo, entre un consultor de implementación experimentado que puede sacar esas cosas. Pero yo diría que ahí es realmente donde está el problema para mí. Por lo general, las tecnologías son lo suficientemente significativas como para poder soportar el reporting o los KPIs. Simplemente necesitamos saber qué es lo que los usuarios realmente quieren para gestionar el negocio. De lo contrario, no están gestionando el negocio.
Entonces, depende, ¿verdad? Quiero decir, son ambas cosas. A veces soy yo quien reconoce que hay un problema e intento resolverlo para asegurarme de que lo solucionen. A veces vienen a mí con cualquier problema comercial que tengan, y muchas veces no es "oh, no podemos informar", sino algo totalmente diferente que me doy cuenta de que es causado por no poder tener informes o los KPIs adecuados o cualquier otra métrica que necesiten. Así que realmente creo que es menos un problema tecnológico y más los usuarios dándote lo que quieren. Sé que es muy básico, pero realmente creo que es una gran parte del problema. Sí, quiero decir, necesitas empezar desde abajo para poder avanzar. Y si no tienes buenos datos, no puedes detallar donde el detalle no existe. Pero siempre puedes resumir un detalle en un resumen que no existe. Así que elige tu veneno.
Correcto. Los datos incorrectos son un gran problema. Especialmente los datos incorrectos suelen estar relacionados con los contactos, al menos en la actualidad. Para nosotros, generalmente se trata de contactos. Y la razón por la que están tan sucios es porque son muy difíciles de limpiar. Porque no hay nada único, y nada único que queramos capturar sobre alguien que nos diga que es la misma persona. Pero de lo contrario, los datos sucios, realmente siento que para nosotros no es gran cosa, pero es un gran problema. ¿Verdad? Otra vez, suena tan trillado. Pero basura entra, basura sale, y si tienes datos sucios, eso es basura. No hay otra palabra para ello. Es basura. Así que tienes que limpiarlo. Es reconocido como basura sucia. A veces la gente ni siquiera reconoce eso.
Implementamos un sistema, un sistema de subasta inversa. En realidad, es para que los abogados externos ingresen y revisen la declaración de trabajo y básicamente hagan una oferta, pero ofertan al precio más bajo, no al más alto. Por lo tanto, hay algunos problemas preocupantes con los KPIs en esta área, porque algunas de las decisiones que tomarías no siempre son cuestión de dólares y centavos. Hay otras cosas más suaves en las que te preocuparías en algo así. Y realmente nunca pude averiguar cómo poner eso en una medida. Todavía no lo sé.
¿Por qué te inclinas por esta firma en lugar de otra, aunque esta otra firma pueda ser un poco menos costosa? Lo entiendo. Lo sabría si conociera el negocio. Lo entiendo, pero sin entender el negocio, no sé cómo lo resuelven. Y eso es un poco frustrante porque no pueden decírmelo. Sé exactamente cómo lo harían. Así que si me preguntas por uno frustrante, o ese es uno problemático. Podría entrar en muchos otros ejemplos, y algunos son buenos y otros son malos, pero ese en particular, porque hay un elemento humano en él y es como casi de IA. Bueno, no quiero decir que sea IA. Es una inteligencia real. ¿Verdad? Es una inteligencia humana, y no sé cómo hacerla artificial.
Sí, absolutamente. Quiero decir, de eso se trata la inteligencia artificial, ¿verdad? Esa es toda la idea, que piense como un humano. Todavía estamos en una etapa temprana en esto y la inteligencia artificial es como una gran palabra de moda. Tenemos que descubrir qué es real y qué no lo es. Pero absolutamente, podría verlo haciendo eso. Quiero decir, ya lo hace, no lo usamos realmente, pero se supone que la tecnología de IA hace eso ahora, donde puede resumir un documento. Bueno, sí, quiero eso.
É sempre a mesma coisa. Você realmente precisa entender o que os usuários querem. Sempre digo às pessoas, quando crio um sistema, não coloque campos que você não usará para fins de relatório. Eles precisam ser organizados e estruturados, e eles precisam ser exigidos quando forem exigidos. Se você vai fazer relatórios sobre dados, precisa ter todos os dados. Você não pode não ter alguns dos dados adicionados. Os desafios tecnológicos, na verdade, não são desafios tecnológicos. É realmente entender o que os usuários querem. Se eles não conseguirem articular isso com você, então é uma situação muito difícil para os relatórios. Isso é realmente fundamental.
Quando você está fazendo a implementação é importante perguntar o que eles querem em seus relatórios. Muitas vezes, eles não saberão. Essa é a diferença, eu acho, entre um consultor de implementação experiente. Conseguimos extrair essas coisas. Mas eu diria que, para mim, é aí que está o problema. As tecnologias são geralmente significativas o suficiente para apoiar os relatórios ou os KPIs. Só que precisamos saber o que os usuários realmente querem para administrar o negócio. Caso contrário, eles não estarão administrando o negócio.
Depende, sabe? São essas duas coisas. Às vezes, sou eu que reconheço que há um problema e, em seguida, tento resolver o problema para garantir que ele seja solucionado. Às vezes, eles me procuram com qualquer problema comercial que tenham. Muitas vezes, não se trata de "Oh, não conseguimos fazer relatórios". É algo totalmente diferente que eu A realização é causada pelo fato de eles não conseguirem ter relatórios ou os KPIs adequados ou seja qual for o caso, ou métricas de que precisam. Eu realmente acho que é menos um problema de tecnologia, e mais sobre usuários passando para você o que eles querem. Sei que isso é muito básico, mas realmente acho que essa é uma grande parte do problema. Não é possível criar detalhes onde não há detalhes existem, mas você sempre pode resumir os detalhes em um resumo que não existe. Portanto, escolha seu veneno.
Dois, dois, certo? Os dados sujos são um grande problema, especialmente, os dados sujos geralmente têm a ver com contatos, pelo menos neste momento, para nós. Geralmente são contatos, certo? A razão pela qual eles são tão sujos, é porque eles são muito difíceis de limpar, porque não há nada de exclusivo e nada que queiramos capturar sobre qualquer pessoa que venha a nos dizer que é a mesma pessoa. Mas, fora isso, dados sujos, acho que para nós não é um grande problema, mas é um problema enorme. Novamente, isso é muito banal, mas lixo entra, lixo sai. E se você tiver dados sujos, isso é lixo. Não há outra palavra para isso. Isso é lixo. Portanto, você precisa limpá-lo. Se eles reconhecerem que se trata de lixo, sujos. Às vezes, as pessoas nem mesmo reconhecem isso.
Acho que vou escolher o "aprender com". Está bem. Porque acho que implementamos um sistema, um sistema de leilão reverso. Na verdade, é para o advogado externo ir e ele leria a declaração de trabalho e eles basicamente, faziam lances, mas eles faziam lances para o preço mais baixo, não para o preço mais alto. Há alguns problemas preocupantes com os KPIs nessa área porque alguns da tomada de decisão que ele usaria nem sempre é em dólares e centavos. Há outras coisas mais suaves com as quais você se preocuparia em algo assim. Nunca consegui descobrir como colocar isso em uma medida. Eu ainda não sei como. Por que você se submete a essa empresa em termos de de outra empresa, mesmo que essa outra empresa possa ser um pouco mais barata? Eu entendo isso.
Eu saberia disso se conhecesse o negócio. Eu entendo, mas se eu não entendesse o negócio, não saberia como eles conseguem descobrir isso. Isso é um pouco frustrante porque eles não podem me dizer. Sei que eles precisam saber exatamente como fariam isso. Se você me pedir um frustrante ou um problemático, esse é um problemático. Eu poderia citar muitos, muitos outros exemplos, e alguns são bons e outros são ruins, mas esse em particular porque há um elemento humano nele, e é quase como uma IA. Sim. Bem, não quero dizer que é IA. É inteligência real, certo? É uma inteligência humana, e não sei como torná-la artificial.
Sim, com certeza. Quero dizer, é disso que se trata a IA, certo? Essa é a questão principal: você quer fazê-la pensar como um ser humano. Ainda estamos no início. AI é como a grande palavra da moda. Você precisa descobrir o que é real e o que não é. Mas com certeza. Eu consigo perfeitamente ver isso. Quero dizer, ela faz isso agora. Nós não a usamos de verdade, mas a tecnologia de IA supostamente faz isso agora ou pode resumir um documento. Bem, sim, eu quero isso.
To access the complete collection of videos, metrics, and other articles, please register or log in.
