Private LLM - Lokaler KI-Chat Kundenservice

Viele der AI-Models funktionieren auf dem iPhone 14 Pro sehr schnell und liefern gute Ergebnisse. Der Download von Models ist manchmal etwas instabil und lässt die App abstürzen. Vor allem für Einsteiger wäre es sehr praktisch in der Übersicht der Models eine kurze Beschreibung mit Schwächen und Stärken der einzelnen Models zu haben, die einem bei der Auswahl eines geeigneten Models hilft (ähnlich wie bei GPT4ALL). Auch eine Begründung warum ein Model von den Entwicklern empfohlen wird. Eine Übersetzung des UI wäre auch nicht schlecht! Insgesamt aber eine wirklich tolle Software! Hoffentlich wird auch zukünftig noch viel Liebe in die App gesteckt. Macht weiter so! :)

Mein Vorschlag wäre, dass man auch eigene KI-Modelle über Dateien importieren könnte.

Apple watch Anbindung wäre noch perfekt!! Vielen Dank

Please add an option to add the MoE Mixtral 8x7B.

The app does what it describes therefore I give 5-Stars. I really like that it allows me to use LLMs offline since I often lack internet and it allows me to use it with sensitive information. I would like it to be a bit more polished. The formatting in the chat window looks strange, I would like to be able to adjust color schemes and different chats would be nice. Right now it‘s always one chat at a time. Really often I open a new chat for a different topic and than want to come back to the previous one but it‘s no longer there. Please add these features. I would even pay for them if you put them behind a paywall for a one-time purchase.

This app is more like a proof of concept than a useful assistant, but that’s perfectly fine. Such a small model run locally doesn’t pack much of a punch, but the fact that it is even possible, is awesome. I am really excited for future updates and additional features.

But it hallucinates a lot. Or it doesn't answer my question.

Hier stehen Möglickeiten für kurzbefehle die sind jedoch nicht vorhanden Ausserdem soll damit zumbeispiel siri noch zugänglicher gemacht werden auch quatsch 😡 na gut aber ich finde es besser als andere Programme weil man Offline mit KIs Chatten kann🙂 Fazit:Private Offline KI Mit Inkorrekter Beschreibung Frage:bin ich der einzige bei dem Das nicht funktioniert.

Die Idee ist gut und das Potential der MacBooks mit M-Prozessoren zu nutzen ist super. Es wäre schön, wenn die verschiedenen KI-Modelle kurz beschrieben werden könnten. Leider ist die Software noch nicht in deutsch erhältlich und die KI-Modelle verstehen vornehmlich Englisch oder sprechen sehr schlecht deutsch. KI-Modelle zur Bildgenerierung wären super. Die Eingabezeile ist zu klein und es können leider nicht mehrere Chats gespeichert werden.

An sich gute App, aber ich kann keine Modell herunterladen. Das geht nicht, wenn eine App 9,99€ kostet. Unbrauchbar

The concept is cool and it works really great. But please add a true uncensored model because both models provided refuse to answer many prompts just like chatgpt does. Otherwise if you could provide uncensored models the app would be a solid 5 Stars. So in v1.5 the 7B Mistral OpenOrca model is still censored. It is ok to have LLMs that are appropriate for all audiences but please put a trully uncensored LLM if one even exists.

…there could be more, especially for the price. You can download a model, and chat with that locally on your device. Even an old iphone13 can be enough. I would love to see: - manage multiple chats, each with a different model/parameters/system prompts - better handling of re-generation or editing an existing prompt, or forking a conversation

I like this app so far, but can you please add a way to upload/use own models, or own loras at least?

Sadly the app is unusable. Both llama 3 models are crashing the app if i select them i use an iphone 14 pro please fix this, so far the 10€ are wasted

I do think it’s pretty good, but maybe you could make a smarter Chatbot or the option to install 7B models or something similar. But other than that I was waiting for this for a while now. Hopefully it can improve over time… I really recommend the 3b model “RedPajama- chat 3b” it’s a really good one..

But I have to say, ChatGPT is giving me far superior results so far. And if I start a chat in German, I have not found a module yet that is actually capable of answering a complex sentence without error. So I end up using ChatGPT again…

Doesn't allow to download and install certain modells, because I have the wrong hardware, despite these modells running fine in Jan.ai and FreeChat.